Intelligenza artificiale: quando l’algoritmo sbaglia. Tre casi reali

Sentiamo spesso parlare di intelligenza artificiale come di una tecnologia quasi infallibile: precisa, oggettiva, superiore al giudizio umano. Ma cosa succede quando un algoritmo sbaglia? E soprattutto: chi paga le conseguenze?

In questo post non troverai scenari fantascientifici. Troverai tre storie reali — documentate, verificabili — in cui un sistema di intelligenza artificiale ha preso decisioni sbagliate che hanno colpito persone in carne e ossa. Storie che ci ricordano che dietro ogni algoritmo ci sono scelte umane, e che quelle scelte hanno sempre un peso.

 

Perché gli algoritmi sbagliano (e perché non è un caso)

Prima di entrare nei casi specifici, è utile capire da dove nascono gli errori dei sistemi di intelligenza artificiale. Un algoritmo non “pensa” nel senso umano del termine: impara da dati storici e poi replica i pattern che ha trovato in quei dati. Il problema è che i dati storici rispecchiano il mondo così com’è stato — con tutte le sue ingiustizie, i suoi pregiudizi, le sue disuguaglianze.

Quando addestriamo un sistema di AI su dati distorti, otteniamo un sistema distorto. Quando lo usiamo in contesti ad alto impatto — assunzioni lavorative, sentenze penali, sicurezza pubblica — gli errori non sono bug da correggere in silenzio. Sono danni reali a persone reali. È questo il cuore della questione etica che questo blog vuole mettere al centro.

 

Caso 1 — Amazon e il filtro CV che penalizzava le donne

 

01

Amazon Hiring Algorithm  ·  2014–2018  ·  Settore: Recruiting

A partire dal 2014, Amazon sviluppò internamente un sistema di intelligenza artificiale per automatizzare la selezione dei curriculum vitae. L’obiettivo era ambizioso: ridurre i tempi dei recruiter, eliminare le valutazioni soggettive e identificare i candidati più promettenti in modo rapido e scalabile. Il sistema fu addestrato su un decennio di candidature storiche ricevute dall’azienda. Ed è qui che nacque il problema. Come funzionava il sistema L’intelligenza artificiale imparò a riconoscere i “profili di successo” guardando chi era stato assunto in passato e chi aveva avuto carriere brillanti in Amazon. Ma la forza lavoro tecnologica degli anni precedenti era composta in modo schiacciante da uomini. L’algoritmo, quindi, imparò a preferire i profili maschili — non perché qualcuno avesse programmato questa preferenza, ma perché era il pattern presente nei dati di addestramento. Il sistema iniziò così a penalizzare automaticamente i curriculum che contenevano la parola “donne” — come in “capitana della squadra femminile di scacchi” — e a declassare le candidature provenienti da istituti universitari a prevalenza femminile. Cosa è andato storto Il bias non era nel codice: era nei dati di partenza. Amazon scoprì il problema internamente e, non riuscendo a garantire che il sistema fosse davvero neutro, lo sospese nel 2018. La notizia fu resa pubblica da Reuters, scatenando un dibattito globale sulla neutralità degli algoritmi. Cosa ci insegna Un algoritmo non è neutro per definizione. Rispecchia sempre le scelte di chi lo ha costruito e la realtà dei dati con cui è stato addestrato. Se quei dati contengono disuguaglianze storiche, l’algoritmo le perpetua — e spesso le amplifica, su scala industriale. Fonte: Reuters, ottobre 2018 — “Amazon scraps secret AI recruiting tool that showed bias against women”

 

Caso 2 — COMPAS e la recidiva prevista sbagliata negli USA

 

02

COMPAS Recidivism Score  ·  2016  ·  Settore: Giustizia penale

Immagina di essere un giudice. Hai davanti a te un imputato e devi decidere se concedergli la libertà vigilata o mantenerlo in detenzione. Un software ti fornisce un punteggio da 1 a 10 che stima la probabilità che quella persona commetta un nuovo reato. Quanto ti fideresti di quel numero? Nei tribunali americani, questo scenario è stato realtà per anni. Il software si chiamava COMPAS — Correctional Offender Management Profiling for Alternative Sanctions — ed è stato usato in diversi stati degli USA per supportare le decisioni giudiziarie su sentenze, libertà vigilata e condizioni detentive. L’inchiesta di ProPublica Nel 2016 il giornale investigativo ProPublica analizò oltre 7.000 casi nel Broward County, in Florida, confrontando i punteggi assegnati da COMPAS con i comportamenti effettivi nei due anni successivi. I risultati furono scomodi: il sistema classificava le persone afroamericane come “ad alto rischio di recidiva” quasi il doppio delle volte rispetto alle persone bianche, a parità di profilo criminale. Il problema della scatola nera La cosa più inquietante? Nessuno poteva vedere come il punteggio veniva calcolato. COMPAS era un algoritmo proprietario, sviluppato da un’azienda privata. Né i giudici, né gli avvocati difensori, né i diretti interessati potevano esaminare la logica dietro quel numero. Decine di vite influenzate da una scatola nera con il potere di incidere sulla libertà delle persone. Cosa ci insegna Quando un sistema di intelligenza artificiale viene usato in contesti ad alto impatto — come la giustizia penale — la trasparenza non è un optional. È una questione di diritti fondamentali. Un algoritmo che non può essere esaminato non può essere contestato. E un algoritmo che non può essere contestato è, di fatto, inappellabile. Fonte: ProPublica, maggio 2016 — “Machine Bias: There’s Software Used Across the Country to Predict Future Criminals. And it’s Biased Against Blacks.”

 

Caso 3 — Il riconoscimento facciale che arrestò la persona sbagliata

 

03

Robert Williams  ·  Detroit, 2020  ·  Settore: Sicurezza pubblica

È il gennaio 2020. Robert Williams, uomo afroamericano di 42 anni, è nel vialetto di casa sua a Detroit quando due agenti di polizia lo arrestano davanti alla moglie e alle figlie piccole. L’accusa: furto in una gioielleria. Williams non aveva mai messo piede in quella gioielleria. Ma un algoritmo di riconoscimento facciale aveva confrontato il frame sfocato di una telecamera di sorveglianza con la sua foto sulla patente di guida e aveva prodotto una corrispondenza. Gli agenti, fidandosi del sistema, erano andati ad arrestarlo. Trent’ore di detenzione per un errore algoritmico Williams trascorse 30 ore in detenzione prima che l’errore venisse riconosciuto. L’investigatore stesso, durante l’interrogatorio, gli mostrò la foto incriminata. Williams la guardò, poi guardò il detective, e disse: “Non sono io”. L’investigatore rispose: “Il computer dice che sei tu.” Il caso Williams è diventato il primo caso documentato e pubblicamente noto di arresto causato da un errore di riconoscimento facciale dell’intelligenza artificiale negli Stati Uniti. I margini di errore che nessuno ci dice L’episodio non è isolato. Una ricerca del MIT Media Lab — condotta dalla ricercatrice Joy Buolamwini — ha analizzato le performance di diversi sistemi commerciali di riconoscimento facciale, rilevando tassi di errore significativamente più alti nel riconoscimento di donne con carnagione scura rispetto agli uomini con carnagione chiara. I sistemi meno precisi vengono usati più spesso proprio sulle persone più vulnerabili. E in Europa? Non è un caso che l’AI Act europeo — il primo regolamento al mondo sull’intelligenza artificiale — vieti esplicitamente l’uso del riconoscimento facciale in tempo reale in spazi pubblici in molti contesti. Il legislatore europeo ha riconosciuto il rischio. La domanda è se questa consapevolezza arriverà abbastanza in fretta anche a chi utilizza questi strumenti ogni giorno. Fonte: ACLU e New York Times, giugno 2020 — “Another Arrest, and Jail Time, Due to a Bad Facial Recognition Match”

 

Cosa hanno in comune questi tre casi

Tre storie diverse, tre settori diversi, tre paesi diversi. Eppure, guardandole insieme, emerge un pattern preciso.

 

Dati distorti. L’algoritmo non ha inventato il pregiudizio — lo ha ereditato. In tutti e tre i casi, il sistema di intelligenza artificiale aveva imparato da dati che riflettevano disuguaglianze storiche.   Mancanza di trasparenza. Nessuno dei tre sistemi era facilmente ispezionabile. Le decisioni emergevano da processi opachi, difficili da contestare anche per chi ne subiva le conseguenze dirette.   Assenza di supervisione umana reale. In tutti e tre i casi, la presenza umana nel processo decisionale era più formale che sostanziale. Gli esseri umani c’erano, ma si fidavano ciecamente dell’output algoritmico.

 

Questi non sono difetti tecnici da correggere con un aggiornamento software. Sono problemi strutturali che richiedono scelte progettuali, normative e culturali profonde.

 

Conclusione: l’AI non sbaglia da sola

C’è una tentazione, quando si leggono storie come queste, di colpevolizzare la tecnologia. Di dire che l’intelligenza artificiale è pericolosa, opaca, discriminatoria. Ma questa lettura è parziale — e, in fondo, comoda.

L’AI non sceglie i propri dati di addestramento. Non decide in quali contesti essere usata. Non stabilisce da sola se le sue decisioni devono essere definitivamente vincolanti o solo consultive. Queste sono tutte scelte umane. E la responsabilità di quelle scelte è interamente umana.

Il punto non è demonizzare gli algoritmi, ma pretendere che chi li costruisce e chi li usa si faccia carico delle loro conseguenze. Trasparenza, supervisione, diversità nei dati, possibilità reale di appello: non sono dettagli tecnici. Sono requisiti etici fondamentali.

Questi tre casi sono una lezione. Sta a noi decidere se impararla.