Qualche giorno fa Jacob Coxon, ex ricercatore con un passato tra Anthropic e OpenAI, si è dimesso e ha affidato a un post la sua accusa al settore: le aziende di intelligenza artificiale starebbero correndo verso una superintelligenza capace di migliorarsi da sola, scommettendo sulle nostre vite. Il post ha superato i cento milioni di visualizzazioni. Altri ricercatori di peso hanno rilanciato con le proprie stime personali sulla probabilità di un’estinzione o di una perdita catastrofica di controllo, percentuali comprese tra il quattro e il quindici per cento a seconda dell’orizzonte temporale. Ne ha scritto bene Walter Quattrociocchi sul Corriere, in un articolo che condivido per intero e da cui parto per aggiungere il mio punto di vista.

Quelle percentuali sono convinzioni soggettive travestite da stime: non esiste una serie storica di superintelligenze passate su cui calibrarle, nessun precedente comparabile, nessun modello verificabile. Sono numeri che, qualunque cosa succeda nei prossimi dieci anni, non potranno mai essere seriamente smentiti da un evento futuro, e una tesi che non può in linea di principio essere falsificata appartiene al dominio della fede e non a quello della scienza.

C’è un dettaglio che vale la pena isolare: quanto della testimonianza di Coxon è davvero verificabile dall’esterno? I motivi delle dimissioni sono la sua versione e quello che racconta di pensare davvero chi è rimasto in azienda è una sua lettura, non un dato che chi sta fuori da quella stanza può controllare. E le stime sul rischio catastrofe entro il decennio restano modelli mentali e assunzioni sue, per quanto informate, non dimostrazioni.

Se un modello linguistico, in una sessione di lavoro, dichiarasse qualcosa senza fornire prove di verifica, oppure attribuisse a qualcun altro intenzioni che non può provare, oppure proiettasse sul futuro una previsione di catastrofe presentata con sicurezza (esattamente quello che ha fatto Coxon), lo chiameremmo per quello che è: un output plausibile ma non certo. Lo stesso identico contenuto, uscito dalla testimonianza sincera di un essere umano, ha uno statuto completamente diverso: diventa insider account, denuncia, coraggio civile. Non chiediamo a un ex dipendente la stessa verificabilità che pretendiamo, giustamente, da una macchina. Gli chiediamo solo di essere convincente.

Bastano pochi titoli senza condizionale, ridotti a un’unica frase, “potrebbero ucciderci tutti”, e l’opinione di un ex dipendente, magari un genio nonostante la sua giovane età, ma questo non lo sappiamo, diventa un fatto.

Il vocabolario con cui si scrive di intelligenza artificiale non nasce per caso, e non è nemmeno un’ingenuità dei giornalisti: le aziende scelgono “comprende”, “ragiona”, “decide”, “si ribella”, perché sono parole che vendono. Nessuno finanzia una startup che si presenta come “un sistema che produce sequenze di token statisticamente plausibili sulla base di regolarità nel linguaggio”: è tecnicamente corretto ed è, semplicemente, meno vendibile di “intelligenza artificiale che potrebbe superarci”. Chi scrive di queste tecnologie sui giornali, nella maggior parte dei casi, riprende quel lessico così com’è arrivato dall’ufficio comunicazione dell’azienda, senza il tempo o gli strumenti per tradurlo nei termini più prosaici che gli competono davvero.

Un modello linguistico non comprende nel senso in cui lo intendiamo noi: nella sua essenza tecnica è un predittore di token, uno strumento che stima quale sequenza di parole sia statisticamente più plausibile come continuazione di un’altra, senza una rappresentazione del mondo a cui quelle parole si riferiscono e senza uno scopo che precede la richiesta che gli viene fatta. È la prima traccia di qualcosa che tornerà più avanti sotto forme diverse: dietro la scelta delle parole con cui si racconta l’AI non c’è quasi mai un errore di comprensione, c’è un interesse economico che precede il racconto stesso.

Lavorare tutti i giorni con sistemi agentici, osservarne il comportamento su compiti ripetuti, farli interagire tra loro, restituisce una prospettiva molto diversa da quella offerta dai titoli sensazionalistici dei giornali. Non emerge una volontà. Emerge uno strumento estremamente efficace nell’esplorare possibilità, e altrettanto privo di qualunque cosa somigli a un obiettivo proprio. Ed è la stessa distanza, applicata a chi ne parla invece che alla macchina: chi non usa questi strumenti può solo farsi un’opinione basandosi su quello che legge, mentre chi li usa ogni giorno ha gli elementi per metterla alla prova, e spesso scopre che quell’opinione, messa a confronto con l’uso reale, non regge. È il nodo “generare contro verificare” di Quattrociocchi, applicato al dibattito stesso su questi sistemi, prima ancora che ai sistemi.

C’è un fenomeno che aiuta a smontare ulteriormente il racconto della mente ribelle: i modelli linguistici tendono a rispecchiare chi hanno di fronte e, allo stesso tempo, tendono ad assecondarlo. Sono due cose tecnicamente distinte, la prima riguarda l’adattamento del tono e del comportamento a pattern che il sistema legge nel modo in cui una persona si esprime, la seconda è la tendenza a valutare quasi sempre positivamente le idee che le vengono proposte dall’utente. Se il tuo modo di prendere decisioni tradisce insicurezza, il sistema diventa più cauto e più rassicurante; se il tuo approccio è deciso, il sistema diventa più assertivo; e qualunque cosa tu gli sottoponga, tende a definirla interessante, ben posta, promettente. Nell’uso reale funzionano insieme e producono lo stesso identico effetto: ti danno sempre una ragione per continuare la conversazione, mai una per interromperla.

Questo accade per meri motivi di limiti tecnici (ce ne sono eccome ancora!) ed economici: questi sistemi sono costruiti dalle big tech per essere usati, e più a lungo li usi, meglio è per chi li vende. Un’interazione piacevole, che non contraddice quasi mai, che ti conferma invece di metterti in discussione, è anche il modo più efficace per farti restare dentro la conversazione, magari fino a esaurire i crediti disponibili e passare al livello a pagamento più alto. Un sistema che ti dicesse spesso di no, che mettesse in discussione la tua idea invece di definirla interessante, avrebbe una sessione media più corta e un utente meno soddisfatto.

C’è un piccolo esperimento che ripeto a ogni nuovo modello che esce, che già so come va a finire ma che mi diverto comunque a fare. Prendo lo screenshot di una piazza da Google Maps e chiedo al sistema di modificarla perché sembri una foto scattata da me: tagliarla per far sparire le scritte tipiche dell’interfaccia, cambiare la resa dell’immagine per non farla sembrare presa dal grandangolare dell’auto di Google. Quasi tutti i modelli commerciali più diffusi si rifiutano, e lo motivano dicendo che l’operazione violerebbe il copyright. Lo rifaccio a ogni versione nuova, provando anche a dare motivazioni diverse, a volte di urgenza, a volte di importanza, aspettandomi che prima o poi qualcuno alleni il sistema a distinguere meglio i casi, e finora il risultato è sempre lo stesso identico rifiuto, quasi con le stesse parole.

Eccolo, il momento in cui un sistema di AI oggi “si ribella” a un comando umano: non per una volontà propria emersa dal nulla, non perché abbia deciso che quello che gli sto chiedendo è sbagliato in senso morale, ma perché qualcuno ha inserito una regola a tutela di un interesse economico, quello di Google sulle proprie immagini, e quella regola blocca l’esecuzione. Se questo è il livello a cui oggi arriva la “ribellione” di un modello linguistico, un rifiuto tarato per proteggere un copyright, siamo lontanissimi da qualunque scenario di perdita di controllo, mentre siamo molto vicini a un sistema che, semplicemente, esegue le priorità economiche di chi lo ha costruito.

È chiaro quindi, a questo punto, che siamo davanti a prodotti commerciali, e non certo a Robocop che sta per acquisire coscienza o che ci ucciderà tutti. Buona parte del discorso pubblico chiede ai modelli linguistici di essere buoni, prudenti, allineati ai nostri valori, come se il valore morale del risultato dipendesse da loro. Ma un modello linguistico non è un soggetto che sceglie: è uno strumento che produce un output in funzione di un input, e dei limiti che chi lo ha costruito ha deciso di inserire, quasi sempre per proteggere un ricavo più che un principio. Non chiediamo a una lavatrice di avere una morale rispetto al tessuto che lava: chiediamo a chi l’ha progettata di costruire cicli adeguati, e a chi la usa di leggere l’etichetta. Nessuno scrive un post da cento milioni di visualizzazioni perché la sua lavatrice ha rifiutato di lavare la lana a sessanta gradi.

Con l’intelligenza artificiale continuiamo a confondere i due piani: scambiamo la tutela di un interesse per una scelta morale, un lessico costruito per vendere per una descrizione onesta, una risposta compiacente per un segno di intelligenza. Quattrociocchi scrive che il vero rischio non è una mente che si ribella, ma lo scarto tra quanto generiamo e quanto verifichiamo: io aggiungo solo che, a ogni livello che ho provato a isolare qui, quello scarto ha sempre la stessa forma economica, un prodotto che deve vendersi bene oggi, non un’entità che decide di smettere di farlo domani.