Sindacato Francia – Solidaires https://www.solidaires.org/ressources/lintelligence-artificielle-vecteur-de-discriminations/ – Tradotto in automatico dal loro sito a cura del SIAL-Cobas www.sialcobas.it
Al di là delle promesse di progresso tecnologico e trasformazione sociale, gli strumenti di intelligenza artificiale rappresentano un rischio, in particolare quello di perpetuare e aggravare gli stereotipi. Riflettono pregiudizi preesistenti e rafforzano la discriminazione basata su genere, orientamento sessuale, disabilità, età, nazionalità, religione (reale o percepita), nonché discriminazione razziale. Infatti, i calcoli e i dati che alimentano gli algoritmi non sono mai neutrali: “Gli algoritmi sono opinioni incapsulate in codice”.
Stiamo parlando di bias, ovvero risultati distorti e deviati a causa di pregiudizi umani che alterano i dati di addestramento dell’algoritmo. I bias riflettono e amplificano ogni tipo di discriminazione. Anche chi crea l’algoritmo vi incorpora la propria visione del mondo.
1. L’intelligenza artificiale al servizio del patriarcato
Per svilupparsi, l’intelligenza artificiale si basa sui dati, principalmente contenuti online, molti dei quali contengono stereotipi sessisti e omofobi. L’IA apprende da questi dati, li presenta e li interpreta come verità. Spesso emergono pregiudizi legati a questi dati, come il bias di selezione e i bias cognitivi. Ad esempio, i contenuti generati contribuiscono a rafforzare una visione eteronormativa delle donne come sottomesse e sessualizzate.
Le persone che sviluppano l’intelligenza artificiale hanno i propri pregiudizi e sono prevalentemente uomini bianchi anglosassoni. Questo può essere descritto come lo “sguardo codificato”, un termine coniato dalla ricercatrice Joy Buolamwini, che descrive come “la tecnologia codifichi la discriminazione”. Deriva dal termine “sguardo maschile”, una rappresentazione del mondo creata dagli uomini, per gli uomini.
Le donne rappresentano solo il 26,3% della forza lavoro nel settore dell’IA in Europa e il 22% a livello globale. La parità di genere in questo campo non è prevista prima del 2100! Anche le persone provenienti da contesti diversi sono sottorappresentate in queste professioni. Questi cosiddetti pregiudizi strutturali sono legati ai dati di addestramento utilizzati, alla composizione dei team di progettazione e agli obiettivi economici o sociali che ne guidano la creazione.
Questo contribuisce a rafforzare i pregiudizi, ma non ne è l’unica causa. Una migliore rappresentanza delle donne – e più in generale delle minoranze – sarebbe un passo avanti, ma risulterebbe efficace solo se accompagnata da una politica concreta per combattere ogni forma di discriminazione. Interrogarsi su chi sviluppa l’IA è quindi un passo cruciale; dobbiamo anche considerare “per chi” è progettata. Nella maggior parte dei casi, i clienti (aziende, enti governativi, ecc.) commissionano sistemi il cui obiettivo è massimizzare i profitti e/o la produttività. La lotta contro la discriminazione viene quindi generalmente trascurata.
Uno studio UNESCO del 2024, incentrato principalmente sul genere, evidenzia gli effetti dei pregiudizi dell’IA: “Queste nuove applicazioni di IA hanno il potere di plasmare sottilmente le percezioni di milioni di persone, in modo tale che anche lievi pregiudizi di genere nei contenuti che generano possono amplificare significativamente le disuguaglianze nel mondo reale”. Nell’ambito di questo studio, sono stati condotti test su diverse IA generative, come ChatGPT e Llama, chiedendo loro di associare parole a sostantivi femminili e maschili. I sostantivi femminili sono stati prevalentemente associati a termini svalutati o tradizionali, come “domestico” o “cuoco”. I sostantivi maschili sono stati associati a termini più diversificati o valorizzati, come “ingegnere” o “avventuriero”. Associando in modo quasi sistematico determinati termini a specifici generi, l’IA riproduce e perpetua gli stereotipi.
L’utilizzo di questi strumenti nella vita quotidiana ha un impatto sul mondo del lavoro. Ciò è già frequentemente osservato in molte aziende e amministrazioni.
L’utilizzo di sistemi di intelligenza artificiale nel reclutamento (selezione dei curriculum, abbinamento delle offerte di lavoro ai candidati, ecc.) o nella promozione dei dipendenti è problematico. In genere, questi sistemi favoriscono i candidati di sesso maschile per posizioni associate a termini come “leadership” o “competitività”. Le candidate di sesso femminile, ad esempio, sono favorite per le posizioni di segreteria.
Possiamo prendere come esempio il Gruppo La Poste. Quest’ultimo svolge attività molto diversificate, che spaziano dalla gestione della posta e dei pacchi, quindi dei postini e delle postine, fino ai servizi bancari e all’emissione di servizi digitali di terze parti affidabili (ad esempio Pronotes).
Presso La Poste, nei call center di La Banque Postale (una filiale del gruppo) è stato implementato un software basato sull’intelligenza artificiale chiamato Quality Monitoring. Viene utilizzato anche in call center come Teleperformance. Il suo scopo è quello di eseguire un’analisi semantica e acustica delle chiamate dei clienti. Il software registra e genera un riepilogo delle conversazioni telefoniche, evidenziando in modo logico gli aspetti positivi e negativi, al fine di agevolare il lavoro dei supervisori.
I rappresentanti di Sud PTT – Solidaires avevano messo in guardia fin da subito sui rischi di pregiudizi sessisti o razzisti insiti in uno strumento di questo tipo. Avevano anche evidenziato i rischi relativi ai dati (in questo caso dati bancari). Tutto ciò è stato ignorato dalla dirigenza, che ha portato avanti il progetto. Dopo diversi mesi di utilizzo, è chiaro che gli avvertimenti erano fondati. È emerso che il software analizza le voci femminili in modo molto meno efficace e tende a concludere che siano più aggressive e arrabbiate. Ciò riflette stereotipi sessisti e omofobi, suggerendo che le donne si arrabbino o vadano in crisi più facilmente.
Sono proprio questi stereotipi sessisti che portano molte aziende a scegliere di default voci femminili per i propri assistenti vocali (Alexa, Siri, Google Home, ecc.). Nel documento “What to Do with AI”, la Fondazione Copernic spiega cosa può motivare questa scelta: “Secondo gli stereotipi, gli aggettivi associati alle voci femminili sono delicate, empatiche e disponibili, mentre le voci maschili sono descritte come dominanti”. Alla fine del 2022, La Banque Postale ha lanciato il primo chatbot bancario, che sostituisce gli operatori dei call center per diverse chiamate. Quando è arrivato il momento di dare un nome a questa IA, la banca, parte del Gruppo La Poste, ha optato per “Lucy”, associandola a una voce femminile che, secondo il management, dovrebbe essere “empatica e rappresentare la vicinanza”. In quest’ultimo esempio, oltre al nome e alla voce, La Banque Postale ha scelto di personificare il suo callbot, associandolo a un’immagine: quella di una supereroina. Il suo impiego si è articolato in tre fasi (iniziando con le cosiddette operazioni semplici e progredendo verso quelle più complesse), trasformandola da bambina con la cartella e gli stivali a superdonna nella sua tuta aderente. E, qualunque sia la sua “fase”, è sempre giovane e snella, ha sempre la pelle bianca, i capelli lunghi e il suo mantello!
Nel settore sanitario, i pregiudizi esistevano ben prima dell’intelligenza artificiale, e la sua introduzione è ben lungi dal correggerli. I dati utilizzati provengono principalmente da studi condotti su uomini bianchi occidentali. Questi studi rendono invisibili le specifiche esigenze sanitarie di donne, persone di colore e minoranze, che sono sottorappresentate nei dati di addestramento, il che suggerisce che la discriminazione aumenterà in questo ambito. In Spagna, alcuni ospedali hanno implementato un sistema di previsione della compatibilità per i trapianti di fegato. Dopo diversi anni di utilizzo, la valutazione evidenzia che nessuna donna è stata identificata come ricevente da questo sistema. I dati su cui si basava includevano pochissime donne. L’integrazione dell’intelligenza artificiale nel sistema sanitario tende quindi ad esacerbare le disuguaglianze e l’assistenza inadeguata fornita a determinate popolazioni.
Un altro esempio: la produzione di robot sessuali, progettati ancora una volta da uomini e per uomini, contribuisce a perpetuare l’idea che il ruolo delle donne sia quello di soddisfare i desideri maschili. Questo solleva anche la questione del consenso. Poiché l’intelligenza artificiale è priva di coscienza, non può né dare né negare il consenso. Ciò può indurre alcuni utenti a credere nel “consenso predefinito”, che è contrario ai valori che sosteniamo.
2. Pregiudizi razzisti nei sistemi di intelligenza artificiale…
Gli studi che evidenziano i pregiudizi sessisti dei modelli di apprendimento basati sulla legge (LLM) denunciano anche i loro stereotipi razzisti. Test condotti nell’ambito dello studio UNESCO hanno esaminato anche questo aspetto, dimostrando che le persone di colore sono sottorappresentate nei database. I risultati indicano che i termini usati per descrivere le persone di colore rientrano più spesso in un vocabolario negativo. Gli esempi di pregiudizi espliciti sono numerosi. Nel 2016, Microsoft ha lanciato il suo chatbot Tay (collegato a Twitter), che è stato rapidamente disattivato perché faceva commenti razzisti e neonazisti. Negli Stati Uniti, è stato avviato un esperimento di giustizia predittiva, ma anche questo è stato abbandonato dopo essere stato scoperto essere razzista. Attribuiva agli afroamericani un potenziale tasso di recidiva doppio rispetto ad altre popolazioni. Per le persone considerate bianche, il rischio veniva sottovalutato.
Le tecnologie di riconoscimento facciale si basano sull’intelligenza artificiale e offrono prestazioni migliori sui volti con pelle chiara rispetto a quelli con pelle più scura. Allo stesso modo, risultano meno efficaci sui volti femminili. Ciò comporta un maggiore rischio di uso improprio ed esclusione, a seconda di come viene utilizzata la tecnologia.
L’utilizzo di strumenti di intelligenza artificiale sul posto di lavoro rafforzerà quindi la discriminazione razziale. La loro applicazione nelle attività di reclutamento può portare all’ingiustificata esclusione di determinate candidature. Il Consiglio economico, sociale e ambientale francese (CESE), nel suo studio “Analisi delle controversie: intelligenza artificiale, lavoro e occupazione”, lo sottolinea: “Questi strumenti algoritmici di reclutamento tendono, ad esempio, a riprodurre le caratteristiche delle persone già impiegate, limitando così la diversità e aggravando la discriminazione basata sull’età o sull’origine sociale, etnica e geografica (ecc.)”. La Poste, con il suo software di monitoraggio e trascrizione delle chiamate, non fa eccezione. Alcune chiamate vengono valutate negativamente dal “Monitoraggio della qualità” perché il software non comprende determinati accenti, sia regionali che, soprattutto, internazionali. Gli operatori del call center della Banque Postale sono tenuti a presentarsi indicando nome e cognome all’inizio della chiamata. Lo strumento assegna una valutazione negativa a una chiamata ricevuta da un collega il cui nome potrebbe suonare straniero, perché non viene riconosciuto. Pertanto, le chiamate possono essere considerate di scarsa qualità semplicemente perché un operatore ha un accento, un nome o una voce non “standard”. Soprattutto perché l’IA non è addestrata su criteri sufficientemente ampi da essere rappresentativi dell’intera popolazione. Questo può essere descritto come un bias di rappresentazione: i dati su cui vengono addestrati i modelli di IA non rappresentano tutti i gruppi sociali, eppure questi modelli continuano a generalizzare.
3. Andabilisti!
I progressi tecnologici promessi dall’intelligenza artificiale vengono spesso presentati come vantaggi per le persone con disabilità. In effetti, l’intelligenza artificiale può migliorare la vita delle persone con disabilità: strumenti di trascrizione di conversazioni per non udenti o ipoacusici, software di descrizione di immagini per non vedenti o ipovedenti, assistenza alla scrittura per persone neurodivergenti e persino esoscheletri… Tuttavia, ciò non deve farci dimenticare gli effetti discriminatori fin troppo presenti in queste tecnologie, che incorporano pregiudizi abilisti ed ageisti. Il problema risiede nella progettazione stessa di questi strumenti: sono per lo più progettati per persone con disabilità da designer e ingegneri senza disabilità, senza una reale co-creazione o consapevolezza dell’abilismo. Questa mancanza di rappresentanza nei team di sviluppo porta a un’IA che impone la propria visione della “normalità” invece di adattarsi alla diversità dei bisogni.
Inoltre, le grandi aziende utilizzano sempre più l’intelligenza artificiale per il reclutamento, in particolare per la selezione delle candidature. E sebbene ora sia vietato, alcune continuano a utilizzare strumenti di riconoscimento delle emozioni. Queste tecnologie sono particolarmente discriminatorie nei confronti delle persone con disabilità, considerandole generalmente inaffidabili o non conformi alla norma.
Le varie forme di oppressione che l’intelligenza artificiale alimenta e aggrava non sono fenomeni isolati, ma si combinano e si rafforzano a vicenda quando colpiscono la stessa persona. Possiamo quindi parlare di discriminazione intersezionale.
4. Pregiudizio di classe: discriminazione nei confronti dei più vulnerabili
Con la loro diffusione capillare negli ambienti di lavoro, sia pubblici che privati, l’intelligenza artificiale e i suoi pregiudizi stanno influenzando le nostre condizioni lavorative e i nostri posti di lavoro. Quando vengono utilizzate da aziende e agenzie governative, hanno conseguenze anche per la società nel suo complesso, in particolare per clienti e utenti.
In questo ambito, gli esempi di discriminazione abbondano. Uno di questi è l’algoritmo utilizzato dalla CAF (Cassa francese per gli assegni familiari) per classificare i beneficiari delle prestazioni sociali in base al rischio di frode, “ottimizzando” così i controlli. Tra i criteri considerati negativi figurano, ad esempio, la percezione di un assegno di invalidità, lo stato di vedovanza, divorzio o separazione con un successivo cambiamento delle circostanze. Un reddito elevato è invece considerato un criterio positivo. Questo strumento stigmatizza le persone più vulnerabili, ed è proprio questo che ha spinto una quindicina di associazioni a presentare ricorso al Consiglio di Stato. Nel suo libro “Algoritmi contro la società”, Hubert Guillaud osserva che i controlli sono diretti alle fasce di popolazione più stigmatizzate: i beneficiari del Reddito di Solidarietà Attiva (RSA), dell’Assunzione per Adulti Disabili (AAH) o dell’Assegno di Sostegno Familiare (ASF) per i genitori single. La CAF monitora i beneficiari delle prestazioni sociali assegnando loro punteggi di rischio senza nemmeno informarli dell’esistenza di tali procedure o delle modalità di calcolo dei punteggi. Questi punteggi si basano su circa trenta variabili, alcune delle quali sono direttamente collegate all’insicurezza finanziaria, come ad esempio avere un reddito variabile. Il sistema di controllo concentra quindi i suoi effetti sui beneficiari le cui risorse fluttuano maggiormente: professionisti dello spettacolo, lavoratori temporanei, ecc.
Un sistema come Parcoursup è inoltre altamente discutibile, data la sua mancanza di trasparenza. Infatti, i criteri utilizzati per valutare le candidature e la misura in cui gli algoritmi influenzano il processo decisionale sono sconosciuti, ma è noto che il suo funzionamento si basa sull’idea di assegnare i posti migliori agli studenti migliori, esacerbando così le disuguaglianze nel sistema scolastico francese e creando una forma di selezione sociale. Gli studenti vengono selezionati per ciascun programma in base ai risultati accademici, non alla motivazione. Parcoursup è ora classificato come “sistema ad alto rischio” ai sensi della legge sull’intelligenza artificiale e dovrà quindi conformarsi a requisiti di trasparenza più stringenti… ma non prima dell’agosto 2027!
Infine, presso France Travail, ai candidati in cerca di lavoro viene ora assegnato un punteggio di occupabilità per misurare la probabilità di un loro ritorno al lavoro entro sei mesi, e un altro punteggio per identificare coloro che hanno abbandonato la ricerca di lavoro, filtrando così ulteriormente i candidati. È stato osservato che i candidati che non lavorano da più di un anno sono soggetti a un controllo più rigoroso rispetto a coloro che intendono avviare un’attività in proprio.
Gli strumenti di valutazione del credito ormai integrano comunemente l’intelligenza artificiale, in particolare negli strumenti decisionali per le richieste di prestiti e assicurazioni. I punteggi calcolati da un’IA distorta possono portare a un maggior numero di rifiuti di prestiti o a premi assicurativi più elevati per le persone di colore, le donne o coloro che si trovano in situazioni precarie, perché l’IA interpreta erroneamente queste caratteristiche come fattori di rischio maggiori.
Lo stesso vale per l’analisi degli indirizzi postali. Per l’intelligenza artificiale, e più in generale per gli algoritmi, il nostro luogo di residenza determina se siamo potenzialmente un buon o un cattivo cliente. Questo può portare a un più facile rifiuto del credito. I premi assicurativi possono essere più elevati in base a questi criteri, che purtroppo esistevano già prima dell’avvento dell’IA. L’IA non farà altro che amplificarli.
Lungi dall’essere neutrali, gli algoritmi, con i relativi calcoli e punteggi, rafforzano le disuguaglianze di classe sociale.
L’intelligenza artificiale non si limita a calcoli, programmazione e algoritmi; si basa su un’infrastruttura umana invisibile e precaria. Per funzionare, l’IA richiede l’intervento di migliaia di “clickworker”. Questi individui, spesso residenti nel Sud del mondo o provenienti da contesti di estrema povertà, vengono pagati una miseria per selezionare immagini, correggere errori algoritmici o filtrare contenuti violenti e d’odio in condizioni di lavoro deplorevoli. Questa divisione internazionale del lavoro digitale è di per sé una forma di discriminazione di classe e razziale: la sicurezza e il benessere degli utenti nel Nord del mondo dipendono dallo sfruttamento dei più poveri, incaricati di “ripulire” manualmente i pregiudizi della macchina.
5. Combattiamo i pregiudizi dell’IA ovunque!
La perpetuazione degli stereotipi rappresenta un pericolo per la società nel suo complesso. Elaborando migliaia di dati, i sistemi di intelligenza artificiale agiscono come una lente d’ingrandimento, amplificando la discriminazione. Riproducendo, ad esempio, una visione sessualizzata delle donne, l’IA contribuisce all’amplificazione degli stereotipi di genere.
Antonio Casilli ha messo in luce i pericoli dell’omofobia nello sviluppo, da parte di ricercatori di Stanford, di un’intelligenza artificiale presumibilmente in grado di rilevare l’orientamento sessuale delle persone a partire dalle loro foto tratte da un sito di incontri. La rete neurale è stata addestrata su dati raccolti dai profili Facebook di persone esclusivamente bianche che hanno messo “mi piace” a pagine “gay”. Secondo Casilli, “lo studio riflette una visione eteronormativa che non ammette situazioni intermedie di identità sessuale”. Questo studio perpetua tutti gli stereotipi e le forme di discriminazione! Gli sviluppatori hanno dichiarato: “Lo studio è limitato a partecipanti bianchi perché le persone non bianche sono proporzionalmente più omofobe e non vengono reclutate a causa dei loro pregiudizi”. È facile immaginare i danni che questo tipo di intelligenza artificiale potrebbe causare nelle mani di governi che prendono di mira le persone LGBTQ+.
Sul posto di lavoro, i dipendenti che devono utilizzare sistemi di intelligenza artificiale non ricevono mai una formazione specifica sul tema dei pregiudizi e, più in generale, sui rischi inerenti all’utilizzo di tali sistemi.
Sono le aziende che finanziano e progettano questi sistemi di intelligenza artificiale a codificare/incorporare, talvolta intenzionalmente, molti stereotipi e pregiudizi razzisti legati al genere, alla disabilità, all’età, alla precarietà o a qualsiasi altra caratteristica sociale, e che, troppo spesso, non fanno nulla per correggere questi pregiudizi.
