🌎 Dossier "Previsione" 2 di 3: Il futuro (non) parla inglese

Hai voglia di fare un breve esperimento?

Apri ChatGPT o Claude e chiedigli (o chiedile!) di indovinare che lavoro fa la tua compagna o una tua amica e guarda cosa succede.

Secondo uno studio, un LLM (Large Language Model) ha una probabilità da tre a sei volte maggiore di associare una donna a un'occupazione stereotipicamente "femminile" (infermiera, maestra) rispetto a una considerata “maschile”, come ingegnera o carpentiera.

Nessun team ha programmato esplicitamente il modello per farlo, specificando che “le donne fanno le infermiere”. Eppure, il modello lo sa. O meglio: lo prevede.

Gli LLM prendono quello che è successo nel passato (miliardi di testi scritti da esseri umani, con tutte le loro contraddizioni, i loro pregiudizi, le loro lacune) e lo proiettano nel presente, ma di chi è il passato su cui questi modelli sono stati addestrati? Quali voci, quali culture, quali immaginari pesano di più?

È una domanda che faccio spesso, soprattutto quando lavoro vado nelle aziende. Parlo di AI in molti contesti diversi, ma questo è un tema su cui mi soffermo sempre perché è meno intuitivo degli altri: chiedersi, in sostanza, sulla base di quali criteri i modelli fanno le loro previsioni, ad esempio completando una nostra domanda con il testo della risposta.

In questo numero del dossier sulla previsione entriamo nel cuore di questo problema: l'egemonia culturale dei modelli di linguaggio e cosa significa affidarci a loro per capire (e immaginare) il mondo.

I modelli di linguaggio (quelli che stanno dietro a ChatGPT, Claude, Gemini e altri tool di AI) quando vengono addestrati "ingeriscono" una quantità enorme di testi e calcolano le relazioni statistiche tra le parole. Se "infermiera" compare spesso vicino a "ospedale", "cura" e "paziente", il modello impara qualcosa su cosa fa un'infermiera, senza che nessuna persona glielo abbia spiegato con chiarezza. È così che questi strumenti riescono a essere così utili, precisi, persino sorprendenti.

Ma quello stesso meccanismo registra anche i pregiudizi e le lacune di chi quei testi li ha prodotti ed è qui che sta il nesso evidente tra linguaggio e previsione: un modello linguistico non prevede il futuro, proietta il passato. E il passato che proietta è sempre il passato di qualcuno.

Come scrive il ricercatore Ethan Zuckerman, i valori degli autori di Wikipedia, dei blogger degli anni Duemila, dei frequentatori di Reddit e dei forum sono impressi in profondità in tutti i grandi modelli linguistici esistenti, proprio perché tutti attingono agli stessi testi.

Quando i valori di un gruppo dominante diventano i valori di tutta la popolazione, quando sembrano ovvi, naturali, inevitabili. Siamo davanti a quella che Antonio Gramsci definì ”egemonia culturale”. Perché il potere non si esercita solo con la forza: si esercita anche attraverso la cultura, le istituzioni, il "buon senso", tutte forme di potere che rendono ancora più insidioso questo meccanismo che così facendo non ha più bisogno di imporsi perché viene interiorizzato.

Secondo Zuckerman, gli LLM automatizzano questo processo di rinforzo, trasformando i valori egemoni non solo in buon senso, ma nel modo stesso in cui la macchina risponde alle domande e produce testo. Quando faccio formazione in azienda uso spesso un esempio per rendere questo concetto più concreto: immagina di addestrare un modello linguistico esclusivamente su testi in tedesco scritti negli anni Trenta. Quel modello sarebbe tecnicamente funzionante (risponderebbe alle domande, produrrebbe testi coerenti) ma le sue "previsioni" sul mondo, sulle persone, sui ruoli sociali sarebbero la proiezione fedele di un immaginario distorto e pericoloso Il problema non sarebbe il modello: sarebbe il passato che gli abbiamo dato in pasto.

Se ci pensiamo, quindi, utilizzare in maniera “pigra” questi strumenti fa sì che continuiamo a perpetrare il modo in cui i gruppi dominanti (ovvero quelli la cui voce è stata in qualche modo registrata nei documenti sui quali abbiamo addestrato gli LLM) hanno interpretato il mondo del passato anche per prevedere come sarà il nostro mondo nel futuro.

Ma chi è, concretamente, questo gruppo culturalmente dominante? Qui Zuckerman riprende un acronimo coniato dallo psicologo Joseph Henrich (e che è anche il titolo di un suo bel saggio pubblicato nel 2022 in Italia da Il Saggiatore) per descrivere i soggetti su cui si concentra storicamente la ricerca accademica occidentale: WEIRD, ovvero Western, Educated, Industrialized, Rich, Democratic. Occidentali, istruiti, che provengono da Paesi industrializzati, ricchi, democratici. Henrich aveva dimostrato che pensare che questi soggetti fossero rappresentativi del comportamento umano universale era un errore metodologico enorme.

Lo stesso errore, trasportato su scala planetaria, è stato commesso con i dati di addestramento dei modelli linguistici. Mohamed Atari, collega di Zuckerman all'Università del Massachusetts, ha sottoposto diversi LLM alle domande del World Values Survey, un questionario somministrato a popolazioni di tutto il mondo e ha scoperto che i modelli non solo riflettono valori WEIRD, ma tendono a rappresentare l'"essere umano medio" come se fosse WEIRD. Il che è falso: la maggior parte delle persone nel mondo non lo è.

Le ragioni di questo meccanismo sono anche linguistiche. Nel mondo si parlano oltre 7.000 lingue, ma meno di 100 hanno una presenza digitale sufficiente a influenzare in modo significativo l'addestramento dei modelli.

Come ha riportato Alice Orrù in uno degli ultimi numeri della sua newsletter, una delle conseguenze dell’egemonia dell’inglese e, più in generale, delle lingue europee è il cultural ghosting, ovvero cancellazione sistematica dei marcatori linguistici tipici delle varianti diverse dallo standard. Per dimostraralo, un team di ricerca ha preso testi scritti in inglese indiano, nigeriano e singlish (l'inglese parlato a Singapore) e ha chiesto a modelli open source di correggerli per renderli "più professionali". Il risultato è stato quasi sempre lo stesso: un testo in inglese americano da cui erano spariti tutti i marcatori linguistici locali. Ma quando i modelli eliminano questi marcatori, cancellano anche il contesto sociale, la funzione pragmatica e l'identità culturale insita nel testo.
In breve, quando queste lingue scompaiono dai dataset, scompaiono anche i mondi che descrivono.

Fin qui abbiamo parlato di bias come di un problema di rappresentazione. Ma c'è un livello più profondo a cui vale la pena scendere, che riguarda non solo chi parla, ma quando.

Un modello di linguaggio fa previsioni basandosi esclusivamente su ciò che è già successo. I suoi bias sono proiezioni nel futuro di pattern che erano veri nel passato. "Le donne fanno le infermiere" non è una bugia, è una fotografia statistica di un mondo che esiste. La domanda, quindi, è: fino a che punto possiamo usare il passato per immaginare il futuro?

I modelli funzionano bene a breve termine, quando il mondo cambia lentamente e i pattern reggono. Ma nel lungo periodo, il passato pesa sempre meno. Da questo punto di vista, un sistema che prevede solo a partire da ciò che è stato rischia di diventare, nel tempo, un archivio del mondo com'era, spacciato per descrizione del mondo com'è.

E qui il problema tocca qualcosa di ancora più strutturale: la capacità di produrre qualcosa di nuovo. Se i modelli imparano dai testi esistenti e vengono usati per produrne di nuovi, cosa succede quando quei nuovi testi diventano a loro volta materiale di addestramento? Si crea un loop: l'AI si nutre di AI. È quello che sta succedendo con il fenomeno dell'AI slop, una massa crescente di contenuti generati artificialmente, che circolano online e rientrano nei dataset. Un uroboro culturale che si autoalimenta.

In un’intervista, il regista Steven Spielberg ha messo in guardia il mondo del cinema da un rischio enorme: se continuiamo a produrre solo remake e reboot di film già visti, “finiremo il carburante”. Quello di cui abbiamo bisogno, invece, è di tornare a raccontare storie originali. Stava parlando di Hollywood, ma potrebbe star parlando dei modelli di linguaggio. Un sistema che si nutre solo di ciò che è già stato prodotto (e che genera contenuti destinati a rientrare nei dataset come nuovo materiale di addestramento) non sta imparando dal mondo, sta imparando da se stesso. E un sistema che impara solo da se stesso non può che ripetere, con variazioni sempre più sottili, quello che già conosce. Per poi “esaurire il carburante”, ovvero smettere di essere utile, realistico, funzionale.

Eppure esistono già delle alternative e vale la pena nominarle, perché il rischio con questo tipo di analisi è finire intrappolati nella stessa crisi dell'immaginazione di cui parlavamo nell’ultimo dossier, quello dedicato al capitalismo.

Zuckerman immagina un futuro in cui i modelli esistenti dialogano con LLM alternativi, costruiti da comunità linguistiche specifiche per preservare la propria lingua, cultura e sistema di valori. Non è fantascienza: un esempio segnalato da Orrù è BYOL, Bring Your Own Language into LLMs, un modello open source sviluppato da Microsoft Research per aiutare i sistemi di intelligenza artificiale a parlare bene anche le lingue meno documentate online. Per lingue come il Chichewa o il Maori, su cui esistono pochi testi scritti, il metodo pulisce i dati disponibili, genera nuovi testi artificiali, allena il modello da zero e lo perfeziona con esempi pratici.

Zuckerman chiude il suo articolo con un'immagine che vale la pena tenere a mente: non possiamo aspettare che emergano intellettuali capaci di sfidare l'egemonia culturale dell'AI. Dobbiamo scrivere alle nostre madri per farci insegnare le parole delle vecchie canzoni popolari (come fece Gramsci in sardo). Dobbiamo, in altre parole, trattare la diversità linguistica e culturale come una risorsa da preservare con la stessa ferocia con cui le grandi aziende tech costruiscono data center.

Perché il futuro in cui l'AI rinforza i propri bias e consolida i sistemi egemoni esistenti è un futuro possibile, ma non è l'unico. Esiste anche un altro futuro, in cui la molteplicità delle voci umane non scompare, ma continua a esistere, a contaminarsi, a produrre qualcosa di nuovo. Qualcosa che nessun remake del remake avrebbe potuto immaginare.

Ti è piaciuta questa newsletter?

🚀 Aggiungimi su Linkedin oppure seguimi su Instagram
💌 Inviami il tuo parere rispondendo a questa email…
⭐️ …oppure lascia il tuo feedback in maniera anonima!
📩 Clicca qui per inviare questa email a un amico
✅ Ti hanno inoltrato questa email ma non sei iscritto?
🎙 Ascolta le puntate del podcast su Spotify e Apple iTunes
📺 …oppure vedi gli episodi in esclusiva su Business+!
🕰️ Per recuperare i vecchi numeri della newsletter vai qui e qui!
📰 Clicca qui per scoprire la rivista di Mondo Complesso