“I pregiudizi si comprendono studiando la storia. I bias si comprendono studiando la scienza” scrive Luca De Biase in uno splendido post in cui tra l’altro aggiunge “Niente impedisce di vedere una convergenza in questi due concetti e nei loro contesti. Ma è chiaro che i bias sono nello spazio dei dati, mentre i pregiudizi sono nel tempo delle mentalità.” Leggendo The Chatbot Problem mi sono domandato cosa succede quando siamo confrontati o meglio l’intelligenza artificiale viene confrontata con il linguaggio e i pregiudizi stratificatisi col tempo nella lingua rischiano di  creare bias.
Ma andiamo per ordine. I bias cui fa riferimento De Biase sono bias cognitivi, degli errori concettuali che portano a risultati errati in un’attività di ricerca il cui scopo è proprio la diffusione della conoscenza. “Il bias è una condizione considerata anormale in un processo di generazione di conoscenza che si vuole oggettivo.”
Accanto ai bias cognitivi esistono però anche bias emotivi che talvolta/spesso sono la causa dei primi. È celebre il geniale esperimento delle tazze escogitato dallo psicologo e premio Nobel per l’economia Daniel Kahneman I probandi, cui erano state donate poche ore prima delle tazze (il cui prezzo visibile era di 4 dollari), tendevano a sopravvalutarle chiedendone non meno di 5,25 per venderle mentre quelli che non le avevano ricevute tendevano a sottovalutarle, essendo disposti a sborsare non più di 2,75 dollari per averle. È “l’effetto dotazione” tale per cui tutte le persone “provano più dispiacere quando perdono degli oggetti di cui sono in possesso di quanto piacere arrecherebbe loro acquisire quegli stessi oggetti, se già non li possedessero”.
Altrettanto interessante e quasi incredibile è l’influenza che può avere sul nostro giudizio di una persona o personaggio il fatto di aver tenuto in mano poco prima una tazza di caffè caldo o freddo. Coloro che hanno tenuto in mano per pochi secondi una tazza di caffè caldo sono indotti a valutare con più simpatia e calore una persona rispetto a quelli che hanno avuto in mano una tazza di caffè freddo, nonostante la descrizione della persona presentata con un testo scritto agli uni e agli altri fosse assolutamente identica. L’ha dimostrato un geniale psicologo sociale sperimentale, John Bargh, fondandosi a sua volta sugli studi di Bowlby secondo il quale “il fatto di essere tenuti stretti dalle persone di cui ci fidiamo di più al mondo, ci spinge ad associare il loro calore fisico al “calore sociale” della fiducia e dell’affetto“ (A tua insaputa, John Bargh, pag. 218). Ne avevo già trattato qui
Questi tipi di bias, emotivi o psicologici, hanno il loro presupposto nell’inconscio, un sistema intuitivo di percezione, valutazione e attivazione, basato sostanzialmente sulle emozioni, assai più arcaico di quello conscio razionale, ma non per questo meno raffinato, al punto che “i risultati dei processi decisionali inconsci sono spesso superiori a quelli dei giudizi formulati a livello conscio” (Bargh, cit. pag 515). Tale sistema inconscio, come lo si voglia chiamare, processo primario (Freud), sistema limbico, pensare veloce (Kahneman) etc., agisce continuamente in noi senza che ne siamo consapevoli – cosa che offende non poco il nostro orgoglio razionale. Oltre che nei nostri comportamenti e nelle nostre abitudini, dove si può esprimere il nostro inconscio se non nella lingua?  evolvendosi con essa e stratificandosi come si stratificano nel terreno le epoche geologiche e nelle città le epoche storiche. La lingua, il nostro orgoglio di umani, è un conglomerato vivente, un organismo in cui si manifestano e si fondono tra loro non solo le parti razionali e emotive di una cultura, ma si sedimentano anche le trasformazione storiche di tutta una cultura, anzi di tutte le culture che l’hanno formata. Con il mutare della sensibilità culturale muta anche la lingua ma, generalmente, non con la stessa velocità. Facciamo un esempio. Con l’espressione “testa di moro” si designava fino a poco tempo fa, e in alcune zone d’Italia e d’Europa probabilmente ancor ora, un colore, un tipo di dolce e forse altro ancora. Per quanto sbiadita dal tempo quell’espressione è connessa con le tutt’altro che simboliche “teste di Mori”, fatte cadere dai cristiani ai tempi delle crociate, tanto che l’alter ego del pacifico S. Giacomo generalmente ritratto con il bastone e la conchiglia, è il S. Giacomo armato, a cavallo, ritratto nell’atto appunto di ammazzare i Mori, persone nere di religione musulmana. Dopo l’attentato alle torri gemelle dell’11 settembre 2001 e quello in Spagna del 2004, si è pensato bene di nascondere con dei fiori le teste mozzate di mori disposte, nell’omonima scultura della cattedrale di Santiago de Compostela, sotto i piedi del cavallo di S. Giacomo. Sì è inoltre deciso di accorciare il nome della scultura: non più Santiago Matamoros (che uccide i Mori) ma, più sobriamente, Santiago.

Nomina nuda tenemus. (Vabbè…Et Flores). Dalla Spagna il processo di presa di coscienza di una rimozione collettiva durata secoli si è allargato all’intera Europa e addirittura nella neutrale Svizzera le prelibate “Mohrenköpfe” (teste di moro, o morettini in Ticino) sono stati oggetto di controversia storico gastronomica fino alla resa. D’altro canto è proprio così: nomina nuda tenemus. Se non vogliamo demolire pezzi della Cattedrale di Santiago e di storia e vogliamo (dopo essercela presa comoda per secoli) essere almeno corretti con neri e musulmani dobbiamo cambiare almeno le parole (e coprire o invece dichiarare apertamente le pudenda) Un pregiudizio, espresso dalla lingua e dall’arte, eppure rimosso dalla coscienza collettiva per secoli, è finalmente stato visto a causa di una tragedia, per paura di altre tragedie. La manifestazione di quest’insight è un cambiamento di parole e, si spera, un parallelo (ma verosimilmente diversamente veloce) processo di elaborazione culturale.
Cosa succede ora se quella lingua, in cui questi e mille altri pregiudizi si sono sedimentati e stratificati per millenni, viene data in pasto ai sistemi di machine learning?
Se lo chiede appunto, con notevole preoccupazione, Stephen Marche nel suo articolo The Chatbot Problem sul New Yorker muovendo dagli straordinari ma anche preoccupanti progressi del natural learning processing che è più o meno anche il core business di Google e Facebook. Il licenziamento di due leading A.I.-ethics researchers di Google, Timnit Gebru nel 2020 e quest’anno di Margaret Mitchell sembra sia proprio in relazione con le controversie etiche che il natural learning processing porterebbe con sé. La Gebru accusa di essere stata licenziata dopo che le era stato chiesto di ritirare il paper “On the Dangers of Stochastic Parrots: Can Language Models be Too Big?” in cui, insieme con altri ricercatori, denunciava i pericoli di un natural learning processing troppo vasto e non supervisionato. Accanto al rischio di un eccessivo e inutile dispendio finanziario e energetico, la Gebru e i suoi colleghi mettevano l’accento sul pericolo che tali modelli facciano propri i pregiudizi dei dati che immagazzinano conducendo a bias e a risultati eticamente controversi se non dannosi.
“the training data has been shown to have problematic characteristics […] resulting in models that encode stereotypical and derogatory associations along gender, race, ethnicity, and disability status”
Nel paper vengono inoltre sottolineate
“The tendency of training data ingested from the Internet to encode hegemonic worldviews, the tendency of LMs [language models] to amplify biases and other issues in the training data, and the tendency of researchers and other people to mistake LM-driven performance gains for actual natural language understanding—present real-world risks of harm, as these technologies are deployed, […] We find that the mix of human biases and seemingly coherent language heightens the potential for automation bias, deliberate misuse, and amplification of a hegemonic worldview”
E ancora
“Biases can be encoded in ways that form a continuum from subtle patterns like referring to women doctors as if doctor itself entails not-woman or referring to both genders excluding the possibility of non-binary gender identities.” Oppure “If we filter out the discourse of marginalized populations, we fail to provide training data that reclaims slurs and otherwise describes marginalized identities in a positive light,”
La Gebru e colleghi propongono misure per controbilanciare i rischi
“In order to mitigate the risks that come with the creation of in- creasingly large LMs, we urge researchers to shift to a mindset of careful planning, along many dimensions, before starting to build either datasets or systems trained on datasets.”
“…we believe there is more to be gained by focusing on understanding how machines are achieving the tasks in question and how they will form part of socio-technical systems.”
E conclude, molto preoccupata
“But beyond that, we call on the field to recognize that applications that aim to believably mimic humans bring risk of extreme harms.”
Pur non avendo alcuna competenza informatica, non credo proprio si possa rimproverare a esperti di questo livello di rinfocolare lo stereotipo della macchina cattiva che mette in pericolo l’umanità dell’uomo. Si tratta invece di essere attenti al rischio di un cortocircuito appunto tra pregiudizi (nel tempo delle mentalità) e bias (nello spazio dei dati).
Immagine: Donna dal pappagallo di E. Delacroix
Suggerimento musicale: WA Mozart, Il Flauto magico, aria di Papageno