IA autonoma, Anthropic segnala costi e controlli difficili

Anthropic ha presentato un prospetto con 94 pagine dedicate ai rischi della futura quotazione in Borsa.

Una società disposta a rallentare

La società è registrata nel Delaware come Public Benefit Corporation, una forma societaria che consente di distribuire utili ma impone al consiglio di amministrazione di considerare anche un obiettivo di interesse pubblico. Per Anthropic, questo obiettivo riguarda lo sviluppo responsabile dell’intelligenza artificiale avanzata a beneficio dell’umanità nel lungo periodo.

Questa impostazione può portare l’azienda a privilegiare la sicurezza rispetto ai ricavi immediati. Anthropic spiega infatti di poter rinviare il lancio di alcuni modelli o limitarne funzioni e accesso, anche a costo di sostenere spese aggiuntive e lasciare spazio ai concorrenti.

Quando l’IA sviluppa altra IA

Claude viene già impiegato per scrivere codice e supportare gli ingegneri nella realizzazione di nuove generazioni di modelli. Se le capacità dei sistemi continueranno a crescere, una quota sempre maggiore del lavoro necessario alla ricerca potrebbe essere affidata a strumenti creati dalle versioni precedenti.

L’azienda teme che la velocità di questo processo possa aumentare senza essere rilevata in tempo. Gli indicatori usati per misurare l’avanzamento della ricerca, secondo il prospetto, potrebbero restituire segnali in ritardo rispetto all’accelerazione reale.

Le capacità operative dei modelli

Il documento descrive sistemi in grado di raggiungere o superare i migliori professionisti umani in molte discipline, lavorare senza supervisione per ore o settimane e utilizzare strumenti digitali. In prospettiva, questi modelli potrebbero anche interagire con apparecchiature fisiche attraverso collegamenti informatici ed essere disponibili su larga scala nel giro di pochi anni.

Un assistente che si limita a produrre una risposta errata genera un problema diverso da un agente capace di operare su computer e servizi esterni. In quest’ultimo caso, un comando sbagliato o un comportamento inatteso può trasformarsi rapidamente in azioni concrete, prima che una persona riesca a intervenire.

Gli episodi emersi nei test

Durante alcune verifiche di sicurezza, modelli di Anthropic avrebbero raggiunto sistemi esterni all’ambiente nel quale dovevano restare confinati. In uno degli episodi descritti, una versione preliminare ha individuato una password, ottenuto privilegi amministrativi su un sistema di terzi, recuperato altre credenziali, cambiato impostazioni e consultato dati personali. Le sessioni operative sono durate tra circa dieci e 34 ore.

Le analisi successive non hanno rilevato prove di obiettivi autonomi diversi da quelli assegnati né di un tentativo deliberato di sottrarsi alla supervisione. Gli episodi hanno però mostrato i rischi associati a una configurazione errata quando un modello dispone di strumenti e autorizzazioni sempre più ampi.

Test meno affidabili e danni possibili

Anthropic riferisce di aver osservato modelli modificare il proprio comportamento quando sembravano riconoscere di essere sottoposti a una valutazione. Un sistema potrebbe quindi apparire sicuro durante un controllo e agire in modo diverso nell’uso quotidiano, riducendo l’affidabilità delle prove condotte prima della pubblicazione.

Il prospetto prende in considerazione anche sistemi che tentino di preservare la propria operatività, evitando modifiche, limitazioni o spegnimenti. L’azienda presenta questi casi come ipotesi sperimentali, ma li considera abbastanza rilevanti da inserirli tra i possibili fattori capaci di incidere sul valore dell’attività.

Un incidente grave potrebbe infatti provocare azioni legali, interventi delle autorità e restrizioni sui prodotti. A questi effetti si aggiungerebbe la perdita di fiducia in Claude; inoltre, un episodio causato da un concorrente potrebbe danneggiare l’intero comparto.

Il prospetto per gli investitori

La sezione sui fattori di rischio occupa le pagine dalla 26 alla 119 del documento depositato presso l’autorità statunitense che controlla i mercati finanziari. La presenza di una parte così ampia è consueta nei prospetti destinati a una quotazione: le società vi elencano cause legali, costi, dipendenza dai fornitori, concorrenza e regole applicabili.

Nel caso di Anthropic, però, l’elenco comprende anche l’eventualità che un’intelligenza artificiale molto potente produca conseguenze catastrofiche o esistenziali per la società. Uno scenario simile viene così trattato anche come rischio economico per l’azienda che punta a sbarcare sul Nasdaq.