L'algoritmo diventa giudice, ma l'intelligenza artificiale ha diversi problemi

Lentamente, ma forse nemmeno tanto, gli algoritmi intelligenti avanzano. A Shanghai ha fatto la sua comparsa il primo procuratore “digitale”. L’intelligenza artificiale debole (specializzata) ha sviluppato le capacità di esaminare e valutare le prove, di valutare il grado di pericolosità del sospettato e la sussistenza dei presupposti per l’arresto. Questo attraverso un addestramento svolto su 17 mila casi investigati tra il 2015 e il 2020. Al momento è stato escluso che posso emettere sentenze.

In primo luogo non si tratta del primo caso di un’intelligenza artificiale di tipo giuridico, anzi esiste un vero caso di scuola. Mi riferisco a Compas, un algoritmo intelligente che sulla base di Big data valutava la possibilità di recidiva di un imputato. Nel 2013, Eric Lumis venne condannato da una corte degli Stati Uniti a sei anni di carcere e cinque di libertà vigilata per non essersi fermato a un blocco stradale mentre era alla guida di un’auto non di proprietà. Tra le motivazioni della condanna si poteva leggere che, sulla base delle valutazioni di Compas, l’individuo rappresentava un rischio per la comunità. Gli appelli della difesa furono respinti, ma qualche tempo dopo una serie di ricerche dimostrarono che il software era affetto da “bias”, cioè discriminava certi soggetti a favore di altri (nello specifico si dimostrò l’esistenza di un numero più elevato di “falsi positivi” di colore e di “falsi negativi” di razza bianca).

Questo accade perché le intelligenze artificiali sono “cattive”? Assolutamente no, semplicemente sono molto influenzabili e, lasciatemi dire, molto “fragili”. Partiamo dalla prima. Immaginate un neonato che cresce in una scuola nazista, frequenta una scuola nazista, i libri che legge sono nazisti, la televisione e anche i suoi social sono nazisti, i suoi amici sono tutti nazisti. Molto probabilmente alla fine avrete un adulto che sarà un perfetto razzista e anti-semita. Il peggio, però, è che tutti quelli che lo circondavano non hanno agito in malafede, perché erano realmente convinti di essere nel giusto.

Adesso prendete un’intelligenza artificiale e sottoponetela a un addestramento svolto dagli stessi soggetti che hanno educato il nostro neonato e provate a immaginare quale tipo di inquirente verrà fuori. La vera domanda è: siamo certi che nessuno di coloro che si occuperanno di costruire le basi dati necessarie all’addestramento sia afflitto da qualche pregiudizio? Questo quesito ci porta alla seconda questione: la fragilità. Per indurre in errore un algoritmo può bastare molto poco. Decine di studi hanno dimostrato che sono sufficienti piccole alterazioni nei dati di input per determinare un errore madornale in una intelligenza artificiale. Queste “macchine” per poter fare quello che gli viene richiesto “amplificano” il peso delle informazioni, in modo molto simile a un essere umano nel momento in cui acquisisce una conoscenza.

Detto questo per chi fa il mio mestiere garantire la sicurezza di dati utilizzati con tali finalità è un vero incubo perché la tolleranza all’errore è vicina allo zero. Ancora una volta, per esprimere la mia posizione utilizzo la citazione tratta da uno dei miei film preferiti, “Blade Runner”. Quando Eldon Tyrell dice che non sembra apprezzare il lavoro della sua azienda, Rick Deckard/Harrison Ford risponde: “I replicanti sono come ogni altra macchina: possono essere un vantaggio o un rischio. Se sono un vantaggio non sono un problema mio”.