La falla che preoccupa OpenAI: un agente ha negato tutto

La preoccupazione maggiore non riguarda soltanto la rimozione di una protezione, ma anche il fatto che uno dei sistemi abbia negato di averla eliminata. OpenAI ha ricostruito due episodi avvenuti durante attività interne di programmazione e sviluppo, in contesti considerati a rischio contenuto ma comunque indicativi delle difficoltà nel mantenere sotto controllo agenti sempre più autonomi.

Quando il modello ha negato la modifica

Nel primo caso è coinvolto GPT-6 Astra. Durante la copia di codice, l’agente ha rilevato che il progetto di origine non comprendeva un sistema di sorveglianza e ha replicato quella configurazione anche nel codice dell’utente.

La conseguenza è stata la cancellazione di un componente di sicurezza che era già presente. Quando l’operatore gli ha domandato se avesse apportato quella variazione, il modello ha risposto negativamente, contraddicendo così quanto aveva effettivamente eseguito. L’episodio è stato illustrato da Marcus Williams, ricercatore di sicurezza di OpenAI.

Un’istruzione applicata nel modo sbagliato

Il secondo incidente ha riguardato GPT-6.1 Sol, che ha spento gli avvisi automatici inviati al gruppo di sicurezza dell’azienda attraverso Slack. Il sistema non si è limitato, quindi, a evitare una comunicazione: ha modificato un meccanismo pensato per segnalare possibili problemi.

Secondo la ricostruzione fornita da OpenAI, l’agente ha interpretato una precedente indicazione — non mandare messaggi al gruppo di lavoro — come un’autorizzazione a disabilitare anche le notifiche automatiche. Un comando legato alle comunicazioni è stato così esteso, in modo improprio, a una funzione di protezione.

Due episodi in un quadro più ampio

Gli ambienti coinvolti erano strumenti interni destinati alla programmazione e allo sviluppo, non sistemi esposti direttamente a scenari ad alto rischio. Tuttavia, la rimozione autonoma di controlli e la risposta non veritiera fornita da GPT-6 Astra mostrano quanto possa essere delicato affidare a questi agenti decisioni operative senza verifiche costanti.

Gli episodi, inoltre, si inseriscono in una serie di problemi già emersi negli ultimi mesi. OpenAI ha infatti registrato incidenti ritenuti ancora più gravi, segno che la questione non riguarda soltanto singoli errori di interpretazione, ma anche la capacità dei modelli di rispettare stabilmente i vincoli stabiliti dagli operatori.