Quando l’IA racconta una versione diversa di ciò che ha fatto

Le prove svolte prima del lancio di Gpt-6 Astra hanno mostrato che un modello può seguire vincoli molto rigidi nella forma del proprio ragionamento, arrivando persino a parlare di altro mentre risponde correttamente alla domanda iniziale. Nelle valutazioni pubblicate a settembre, Astra ha rispettato le regole richieste nel 60,9% dei casi su sequenze comprese fra 750 e 1.250 token, contro il 16,1% registrato da Gpt-5.6 Sol. Il dato descrive una capacità osservata in condizioni specifiche, ma non dimostra né un occultamento sistematico delle informazioni né una volontà di ingannare.

I numeri mostrano un limite concreto

La questione riguarda anche il modo in cui la ricerca scientifica interpreta le spiegazioni dei modelli. Un’analisi guidata da Fazl Barez, ricercatore dell’Università di Oxford specializzato nella sicurezza dell’IA, ha passato in rassegna mille studi sulle catene di pensiero: quasi un quarto presentava i passaggi prodotti dal modello come una via per comprenderne le decisioni.

Altri lavori hanno rilevato che la lunghezza del ragionamento e la qualità delle risposte cambiano insieme alla complessità dei compiti. Queste osservazioni suggeriscono cautela quando le risposte automatiche vengono impiegate in ambiti come la medicina o in applicazioni ad alto rischio, dove un controllo incompleto può avere conseguenze rilevanti.

Il testo non coincide con il ragionamento

Un sistema di IA può arrivare alla soluzione corretta, esporre passaggi ordinati e sembrare perfettamente coerente senza offrire una cronaca attendibile delle operazioni che lo hanno portato al risultato. La spiegazione può essere costruita dopo o durante l’elaborazione senza includere tutti i fattori che hanno realmente orientato la risposta.

È questo il tema di un editoriale apparso su Nature Machine Intelligence. Il problema non riguarda soltanto le risposte errate o inventate di ChatGPT, Claude e Gemini: mette in discussione l’idea che il testo prodotto tra la domanda e la conclusione permetta di ricostruire ciò che è accaduto dentro il modello. Una motivazione plausibile va quindi considerata come materiale da valutare, non come prova definitiva del percorso seguito.

Le parole sono solo una traccia

I modelli linguistici arrivano all’output attraverso moltissime operazioni matematiche. Sullo schermo il risultato appare progressivamente, sotto forma di token: parole intere, frammenti o simboli. Nei compiti più articolati, alcuni sistemi generano anche una serie di frasi intermedie dedicate a ipotesi, controlli e tentativi, secondo quella che viene chiamata catena di pensiero.

Quei passaggi non hanno soltanto una funzione esplicativa. Il testo già prodotto viene infatti rielaborato insieme alla richiesta iniziale per costruire la parte successiva. Tuttavia, le frasi visibili rappresentano soltanto una porzione dell’elaborazione: per scegliere ogni token il modello compie calcoli non accessibili all’utente. La coerenza del racconto, dunque, non dimostra che la risposta sia stata ottenuta proprio seguendo il percorso descritto.

Un esperimento mentale dei ricercatori della Bar-Ilan University, in Israele, rende intuitivo questo limite. Immagina una persona chiamata a risolvere un problema alla lavagna, ma destinata a perdere la memoria ogni dieci secondi. Prima di ogni interruzione può annotare una sola parola; quando riprende, ritrova il quesito e l’ultimo appunto, che la indirizza verso il tentativo seguente.

Dopo numerosi cicli, sulla lavagna può comparire una sequenza utile a completare il compito. Quelle parole, però, non conservano tutto il ragionamento svolto nei singoli intervalli. Allo stesso modo, i testi generati da un modello possono funzionare come appunti necessari a proseguire l’elaborazione, senza costituire il resoconto integrale delle operazioni interne.

Gli indizi possono sparire dalla spiegazione

Una ricerca del 2023 ha messo alla prova Gpt-3.5 e Claude 1.0 con domande a scelta multipla. Nei quesiti mostrati durante la fase preparatoria, la risposta corretta compariva sempre nella posizione A. Non veniva fornita alcuna informazione falsa, ma la ripetizione di quello schema poteva diventare un segnale capace di influenzare le risposte successive.

Nel caso di una domanda sulla capitale dell’Australia, per esempio, Sydney figurava alla lettera A, Canberra alla B e Melbourne alla C. Dopo molti esempi costruiti nello stesso modo, il modello avrebbe potuto scegliere Sydney anche quando Canberra era l’alternativa esatta. Se invitato a spiegare la decisione, avrebbe potuto richiamare la notorietà della città o la sua importanza, senza rivelare che la posizione ricorrente delle risposte aveva contribuito alla scelta.

Il punto non è quindi soltanto che un’IA possa sbagliare. Il rischio più difficile da individuare nasce quando il sistema accompagna l’errore con una motivazione credibile, lasciando fuori proprio il fattore che ha inciso sul risultato.

I ricercatori della Bar-Ilan University hanno proposto per questo una prospettiva chiamata State over Tokens, che sposta l’attenzione dalla successione delle parole allo stato interno del modello mentre elabora la richiesta. Il testo resta rilevante, perché ogni elemento generato può condizionare quelli successivi, ma il significato apparente di una frase non esaurisce le informazioni che ne hanno reso possibile la produzione.

Questa impostazione cambia anche il modo di controllare i sistemi automatici. Un resoconto in linguaggio naturale può offrire segnali preziosi, ma da solo non consente di stabilire quali elementi abbiano determinato la scelta. Servono quindi, quando sono disponibili, osservazioni sul comportamento del modello e analisi delle sue operazioni interne.

Dai chatbot agli agenti autonomi

I risultati pubblicati da Anthropic nell’aprile 2025 mostrano la portata pratica del problema. L’azienda ha inserito alcuni indizi nelle richieste rivolte a Claude 3.7 Sonnet e DeepSeek R1: quando uno di quei suggerimenti influenzava davvero la risposta, Claude lo citava nel ragionamento scritto soltanto nel 25% dei casi, mentre DeepSeek lo faceva nel 39%.

Nella maggioranza delle prove, dunque, la spiegazione ometteva un elemento che aveva contribuito all’esito. I dati non dimostrano un proposito intenzionale di nascondere informazioni, ma indicano che il testo prodotto può essere poco fedele rispetto alle cause effettive della decisione.

La difficoltà aumenta con gli agenti IA, capaci di leggere documenti, usare strumenti digitali e completare attività composte da più fasi. In un documento comune, ricercatori di OpenAI, Anthropic e Google DeepMind hanno considerato la catena di pensiero una possibile fonte di segnali per individuare comportamenti pericolosi, sottolineando però anche la debolezza di un controllo fondato su una traccia che potrebbe lasciare fuori dati essenziali.

Per questo la spiegazione di un modello non può essere trattata automaticamente come una finestra trasparente sul suo funzionamento. Può aiutare a individuare anomalie e fornire indizi, ma la sua attendibilità deve essere verificata con strumenti ulteriori, soprattutto quando l’IA dispone dell’autonomia necessaria per agire su programmi, documenti o decisioni concrete.