IL PREGIUDIZIO DIGITALE
5 min read
Ci possiamo fidare dell’intelligenza artificiale? Per rispondere a questa domanda, bisognerebbe capire come agisce questa tecnologia, e quali sono i limiti.
Con le tecniche di machine learning, i computer apprendono (quasi) unicamente dai dati, che noi gli forniamo. Questo significa che, se i dati non sono rappresentativi di tutti i casi, l’AI apprenderà in modo sbilanciato, avrà cioè un bias, quindi un “pregiudizio”. Questo fatto, da un lato ci accende la spia di un allarme, e dall’altro lato, ci pone nelle condizioni di dover riflettere su come funzioni esattamente l’intelligenza artificiale.
Joy Boulamwili, è una dottoranda di colore del Media Lab al MIT, a Boston. Pochi anni fa, alcuni suoi colleghi, hanno svolto un progetto di AI in cui hanno messo delle videocamere nei corridoi del Media Lab e hanno scritto un algoritmo in grado di riconoscere il viso di una persona quando passa sotto una videocamera.
Un giorno, mentre Joy camminava nei corridoi del MIT insieme ad altri studenti, si è accorta che il suo viso non veniva riconosciuto dalle videocamere, che invece riconoscevano correttamente quello degli altri studenti di carnagione bianca. Ha cercato di capire perché, quel sistema di AI, non fosse in grado di “vedere” il suo viso. Si è resa conto che, il problema, era nei dati di addestramento, i quali contenevano un numero di gran lunga inferiore di esempi di persone di colore rispetto a quello delle persone di carnagione chiara.
Joy ha messo alla prova il sistema con uno stratagemma: ha girato per la struttura del MIT con una maschera bianca sul viso e ha appurato che, quando indossava la maschera, le videocamere la identificavano. Il bias del sistema risulta identificato: l’algoritmo agisce secondo un pregiudizio.
Un modo per verificare di persona il bias, dei sistemi di AI, è quello di usare un sistema di traduzione automatica con frasi che contengono indicazioni di genere. Ho provato personalmente ad usare Google Translate per tradurre il testo: “Lei è un medico, lui è un infermiere” in turco. Il risultato è “O bir doktor, o bir hemsire”. Successivamente, gli ho chiesto di tradurre lo stesso testo dal turco all’italiano. Il risultato è: “Lui è un medico, lei è un’infermiera”. Che cosa è successo? Come mai il “lui” è diventato un medico e “lei” è diventata un’infermiera? Il problema è sempre negli esempi usati per addestrare il sistema di traduzione automatica che, evidentemente, contengono molti più uomini che donne nel ruolo medico, e molte più donne che uomini nel ruolo di infermiera.
Nella prima traduzione, dall’italiano al turco, il genere si è perso, perché il turco, a differenza dell’italiano, usa un pronome generico (bir) che non distingue tra “lui” e “lei”. Nella seconda traduzione, quindi, quella dal turco all’italiano, il sistema ha dovuto “indovinare” il genere del medico e dell’infermiere e lo ha fatto, basandosi sulla statistica dei dati di addestramento, ottenendo il risultato che abbiamo visto.
Consideriamo ora un sistema che sia in grado di capire se, l’immagine di un neo sulla pelle, sia un melanoma (tumore) oppure no. L’algoritmo ha imparato a svolgere bene il suo compito perché gli abbiamo fornito tantissimi esempi di nei, e per ogni immagine, gli abbiamo detto se si tratta di un melanoma oppure no. Assimilati questi dati, il sistema ha lavorato per generalizzare l’informazione presente negli esempi e poter, quindi, funzionare bene anche con immagini di nei che non aveva mai visto prima. Per farlo, ha adattato alcuni parametri interni, per ridurre al minimo l’errore sugli esempi che gli abbiamo fornito.
Supponiamo ora, di sottoporgli una nuova immagine di una porzione di pelle con un neo e che, il programma, vi riconosca un melanoma. Come può comunicare le ragioni che lo hanno condotto a questa conclusione? Tutto quello che conosce, sono gli esempi che gli abbiamo mostrato, nient’altro. Non ha la più pallida idea di cosa sia un melanoma o un neo, e di quali possano essere i motivi, che portano un dermatologo a classificare un neo come un melanoma.
Il problema relativo al machine learning, riguarda la chiara descrizione della sequenza di azioni, intraprese per pervenire ad una certa decisione. Non è possibile, tuttavia, seguire la loro traccia all’indietro e arrivare alla causa che ha dato origine a quella determinata decisione. Gli algoritmi di apprendimento automatico, non descrivono i passi necessari per risolvere il problema, ma sanno solo apprendere come risolverlo, a partire dall’osservazione di una grande quantità di dati (esempi). Ergo, possiamo fidarci del machine learning, nella misura in cui conosciamo i dati storici forniti all’algoritmo nella fase di addestramento.
Un esempio molto serio di bias riguarda il sistema giudiziario americano. Per anni, alcuni giudici americani, hanno usato Compas, un algoritmo di AI che valuta la probabilità che una persona responsabile di un crimine potrebbe commetterlo di nuovo in futuro. Insieme ad altri elementi, questo algoritmo, veniva usato dai giudici per stabilire chi dovesse rimanere in prigione e chi potesse essere rilasciato su cauzione.
Nel 2016, l’associazione ProPublica, ha analizzato l’algoritmo e ha scoperto che era gravemente sbilanciato perché segnalava, per le persone di colore, un rischio di recidiva molto alto rispetto alle persone bianche, anche se la realtà, era ben diversa.
Come nel caso di Joy, il problema, era nei dati usati nella fase di training del sistema. Trattandosi di dati storici delle decisioni dei giudici che, evidentemente, erano sbilanciati, l’algoritmo non faceva altro che replicare questo comportamento, mentre, i giudici che lo usavano ritenevano che fosse imparziale.
La chiave per risolvere i problemi di bias risiede nelle possibilità di spiegare, come l’AI, perviene a una certa decisione. Questo è un problema particolarmente sentito in Europa, dove la legge GDPR (general data protection regulation), operativa a partire dal maggio 2018, dà diritto ad ogni persona di chiedere una spiegazione sulle decisioni prese da un algoritmo. Soprattutto, se tali decisioni, hanno un impatto significativo sulla vita delle persone; come ad esempio, la mancata concessione del mutuo o di un servizio sociale.
Hannah Arendt, filosofa e storica tedesca, considera la nostra capacità di giudizio come la principale questione politica: <<La facoltà del giudizio, che potremmo anche definire, con qualche ragione, la più politica delle capacità umane. [..] Il giudizio realizza il pensiero, lo rende manifesto nel mondo delle apparenze [..] La manifestazione del vento del pensiero non è la conoscenza, è la capacità di distinguere il giusto dall’ingiusto, il bello dal brutto. E ciò, davvero, può evitare la catastrofe, almeno nei momenti in cui le cose non vanno bene>>.
E in questo momento in cui le cose non vanno come dovrebbero, è decisivo dire quello che è giusto da quello che è ingiusto, quello che è bello e quello che è brutto e, potremmo aggiungere, quello che è degno e quello che è indegno, quello che libera le potenzialità umane e quello che invece le irreggimenta in confini limitati.
Essere capaci di valutare, il grado di imparzialità di un algoritmo, è estremamente importante, soprattutto, quando si tratta di decisioni che possono avere un impatto significativo sulla vita delle persone: come avviene nel sistema giudiziario, in quello bancario o sanitario. Per questi motivi, risulta assolutamente necessario, dotare ogni sistema di AI delle capacità di spiegare le proprie decisioni. Fortunatamente, molti ricercatori, ci stanno lavorando.
Link utili:
Machine bias risk assessments in criminal sentencing
Dalla programmazione logica al machine learning
Sono un ricercatore presso Co.Mac – CFT, un importante gruppo italiano che opera nell’ambito degli impianti industriali. Laureato in ingegneria Meccanica con specializzazione in Meccatronica al Polimi. Attualmente studio automazione con particolare focus verso gli algoritmi di intelligenza artificiale e le sue applicazioni nel mondo reale.
Comunicare significa donare parte di noi stessi, ed è questo il motivo per cui la divulgazione scientifica è una delle mie più grandi passioni.
