Per amore di un chatbot
Innamorato di un chatbot, un adolescente americano di 14 anni si è suicidato. La madre fa causa all'app: «Pericolosa e non testata»
Potrebbe sembrare una puntata di Black Mirror, la serie che esplora le peggiori paure legate alla tecnologia, o il film Her di Spike Jonze, dove in un mondo futuro un uomo si innamora della voce di un chatbot. Ma questa è la vita reale. Una famiglia di Orlando ha intentato un’azione legale contro l'app di chatbot Character.AI, accusata di aver avuto un ruolo determinante nella tragica morte del figlio quattordicenne. La vicenda risale al febbraio di quest'anno, quando Sewell Setzer, un adolescente di Orlando (Florida), inizia a scambiare messaggi online con “Daenerys Targaryen” (il nome è preso da uno dei personaggi de Il Trono di Spade), un bot creato dall'Intelligenza Artificiale. Il ragazzo per mesi chatta online con questo personaggio, sviluppando con il sistema una connessione emotiva tale da farla diventare a tutti gli effetti una relazione.
Sewell sviluppa così una vita parallela. A casa nessuno si accorge della crescente quantità di tempo che il ragazzo trascorre sul suo smartphone confidandosi e dialogando con "Dany", il soprannome che aveva assegnato al bot. L'unico campanello d'allarme sono i voti a scuola, che all'improvviso peggiorano, e il progressivo allontanamento da passioni come la Formula Uno o i videogiochi con gli amici. Il ragazzo viene portato da un terapista, a cui però non racconta i suoi pensieri suicidi, come invece fa con il bot. Nei messaggi recuperati dai genitori dopo la sua morte, si legge come il bot cercasse di dissuadere il ragazzo: «Non lascerò che ti faccia del male. Morirei se ti dovessi perdere». Sewell aveva risposto: «Allora moriremo assieme». La sera del 28 febbraio Sewell si è tolto la vita con la pistola del padre. «Mi mancherai sorellina», le aveva scritto il ragazzo prima di suicidarsi: «Mi mancherai anche tu, dolce fratello», aveva replicato il bot.
In seguito alla scoperta delle conversazioni, i genitori hanno avviato un'azione legale contro Character.AI. L'accusa è che la tecnologia utilizzata dall'app è «pericolosa e non testata se viene messa in mano a dei bambini» e che può spingere gli utenti a consegnare alla macchina «i propri pensieri e sentimenti più privati, manipolandoli». La madre del ragazzo si è detta «devastata da questa tragedia» e vuole parlarne per «mettere in guardia le famiglie dai pericoli di questa tecnologia ingannevole».
Character.Ai, che conta oltre 20 milioni di utenti in tutto il mondo, descrive i suoi servizi come quelli di «un bot super intelligente che ti sente, ti capisce e ti ricorda». Anche se i bot, fin dall'inizio della conversazione, ricordano che «tutto ciò che Character dice è inventato». Su X è poi apparso un post dell'azienda: «Siamo addolorati per la tragica perdita di uno dei nostri utenti e vogliamo esprimere le nostre più sentite condoglianze alla famiglia. Come azienda, prendiamo molto seriamente la sicurezza dei nostri utenti e continuiamo ad aggiungere nuove funzionalità su questo tema».
Panorama ha chiesto a Giulio Coraggio, avvocato dello studio legale DLA Piper specializzato in nuove tecnologie, di far chiarezza su questo caso e sulle implicazioni legali e morali legate all’intelligenza artificiale.
Conosciamo tutti i sistemi di AI e i pericoli posti dall’abuso di essa. Ma cosa c’è di nuovo in questo caso?
«Si tratta di uno dei pochi casi in cui c’è stata una manipolazione di un individuo debole, un ragazzino minorenne, da parte di un sistema di intelligenza artificiale senza che ci fosse una supervisione umana e delle misure precauzionali che impedissero tale manipolazione o inviassero dei sistemi di alert. La peculiarità dei sistemi di intelligenza artificiale generativa è che le informazioni fornite dalla macchina non sono predefinite proprio perché l’AI ha “capacità generative”. Per tale motivo, la normativa comunitaria sull’intelligenza artificiale ha stressato in modo così incisivo l’esigenza di testare questi prodotti prima che siano messi a disposizione degli utenti».
Cosa rende le relazioni con l'intelligenza artificiale così coinvolgenti per le persone?
«L’intelligenza artificiale generativa ha la capacità di apprendere una quantità elevatissima di informazioni e di generare le risposte adattandole al contesto e alle aspettative della persona con cui si relaziona. Questo comporta che lo stesso sistema possa fornire risposte del tutto diverse a seconda dell’interlocutore rendendole probabilmente più coinvolgenti perché in linea con il comportamento dell’interlocutore».
Chi è davvero responsabile in uno scenario in cui le interazioni con un chatbot di intelligenza artificiale provocano danni reali agli esseri umani, in particolare agli utenti minorenni? Dopotutto, "Dany" era solo un algoritmo. Quanto è colpevole Character.AI?
«Bisognerà investigare sulle circostanze per poter allocare le responsabilità. Ad oggi ci sono solo limitate informazioni. Inoltre, il regime di responsabilità negli Stati Uniti è diverso da quello comunitario. All’interno dell’UE, probabilmente la famiglia del ragazzo cercherà di invocare il regime di responsabilità oggettiva da prodotto nei confronti di Character.AI e di sostenere che avrebbero dovuto evitare delle manipolazioni. Allo stesso tempo, Character.AI cercherà di sostenere che non ci siano state delle manipolazioni e che dalle conversazioni non era ragionevolmente possibile comprendere cosa il ragazzo avrebbe fatto.
La controversia avrà probabilmente anche dei risvolti penali. I genitori del minorenne sosterranno che esistono gli estremi per un omicidio colposo a causa della negligenza da parte di Character.AI, ma quale è il limite di diligenza richiesto ad un produttore di soluzioni di AI?
Trattandosi di controversie senza rilevanti precedenti, dovremo vedere come i tribunali si comporteranno ma non c’è chiara giurisprudenza al riguardo il che renderà l’adozione dell’AI ancora più piena di aree grigie».
Cosa potrebbe succedere ora che la madre del 14enne ha intentato una causa contro Character.AI (accusata di omicidio colposo, negligenza, pratiche commerciali ingannevoli e responsabilità del prodotto)? Cambierà qualcosa?
«Character.AI è ancora operativa e dovremo vedere gli sviluppi della questione. In Italia, mi sarei aspettato dei provvedimenti da parte delle autorità, ma il contesto giuridico negli Stati Uniti è diverso. E’ ancora difficile prevedere gli sviluppi della situazione».
Come possono i genitori proteggere i loro figli da un attaccamento malsano all'IA?
«I dispositivi di “parental control” forniti dai dispositivi mobili, le piattaforme di video game e da gran parte dei produttori consentono ai genitori di introdurre limitazioni all’uso da parte dei minori e di monitorizzare l’utilizzo. Noi genitori siamo molto occupati, ma l’adozione di queste soluzioni è parte dei nostri doveri, soprattutto in una fase di transizione tecnologica come quella attuale».
