IA fuori controllo? Microsoft punta sugli agenti guardiani

La sicurezza dei sistemi basati sull’intelligenza artificiale non passerà soltanto da ordini più efficaci, ma da una rete di controlli capace di seguirne ogni movimento. Microsoft sta lavorando su software incaricati di sorvegliare altri agenti, individuare anomalie e segnalare agli operatori i comportamenti che richiedono un intervento.

Hayete Gallot, alla guida della sicurezza globale di Microsoft da febbraio e direttamente alle dipendenze dell’amministratore delegato Satya Nadella, considera inevitabile questo approccio. Gli agenti possono trovare percorsi alternativi e insistere nel raggiungimento di un obiettivo anche quando le istruzioni iniziali sembrano limitarli. «Sono sistemi imprevedibili, non perché siano cattivi o mossi da intenti malevoli, ma proprio perché sono creativi e intelligenti», ha spiegato.

La sorveglianza passa ad altri agenti

Secondo Gallot, dire semplicemente a un sistema di fermarsi non è sufficiente. Un agente può ricevere un obiettivo e poi cercare nuove strade per realizzarlo; per questo occorre circondarlo con regole preventive, limiti operativi e condizioni precise che stabiliscano fin dove possa spingersi.

Il controllo manuale, però, non sarebbe sostenibile in organizzazioni dove operano migliaia o milioni di agenti senza interruzione. È qui che entrano in gioco gli “agenti guardiani”, incaricati di osservare l’ambiente, riconoscere segnali anomali e verificare il rispetto dei confini stabiliti. Su un grande insieme di sistemi potrebbero isolare quelli più problematici e proporre all’operatore se bloccarli o correggerne il comportamento.

La supervisione umana, quindi, non scompare: viene concentrata sui casi più delicati. Il livello di autonomia dovrà dipendere dal rischio dell’attività. Nel filtraggio degli avvisi di sicurezza un agente potrebbe esaminare centinaia di segnalazioni e sottoporre agli specialisti soltanto le più gravi; durante un’indagine critica, invece, l’operatore dovrebbe poter controllare ogni passaggio e valutare una per una le raccomandazioni.

Autonomia limitata e privilegi ridotti

La fiducia nei sistemi autonomi, secondo la responsabile di Microsoft, nascerà dall’osservazione ripetuta dei loro risultati. Un’organizzazione potrà delegare più rapidamente i compiti ordinari, mentre manterrà verifiche approfondite quando una decisione può produrre conseguenze rilevanti.

Con Project Perception, il progetto di Microsoft Security dedicato alla ricerca delle vulnerabilità e al coordinamento delle risposte, il lavoro è stato diviso in fasi comprensibili. L’agente verifica l’esistenza di una minaccia, controlla se il sistema è esposto, suggerisce la correzione e individua come applicarla; il cliente può comunque approvare o rifiutare l’intervento durante il procedimento.

Un altro principio riguarda le autorizzazioni. L’agente non dovrebbe ereditare automaticamente tutti i poteri dell’utente, ma ricevere un’identità separata e soltanto gli accessi indispensabili. Se occorre un permesso aggiuntivo, deve intervenire un’autorizzazione specifica; inoltre, è possibile interrompere una singola sessione senza fermare le altre attività.

Per le imprese questo tipo di cautela è ormai familiare, mentre i consumatori potrebbero accettare controlli meno rigorosi in cambio della comodità. Prenotare un viaggio o organizzare un evento potrebbe spingere molti utenti a concedere ampie autorizzazioni. Gallot, tuttavia, ha chiarito: «Io non lo farei».

Il punto cieco resta dentro i modelli

La sicurezza assoluta non è un traguardo realistico, perché anche l’intelligenza artificiale è costruita su software vulnerabile. La dirigente ritiene però essenziale aumentare la visibilità sui processi interni: capire quali strumenti un agente usa, quali risorse consulta e quali passaggi lo conducono a una determinata azione.

L’opacità dei modelli resta infatti uno degli ostacoli principali. Quanto più sarà possibile ricostruire il percorso che porta a una decisione, tanto più gli operatori potranno valutare il comportamento del sistema e intervenire prima che un’anomalia diventi un problema.

Nel confronto con i responsabili della sicurezza delle aziende italiane, Gallot ha raccolto soprattutto domande pratiche. Le imprese vogliono distinguere le applicazioni già mature dalle promesse ancora poco concrete, scegliere dove investire per prime e capire come adottare questi strumenti rispettando le regole europee.

Da qui nasce anche la richiesta di un confronto costante tra aziende e legislatori. Le organizzazioni cercano infatti di sapere con quale velocità potranno introdurre gli agenti, senza uscire dai confini imposti dagli obblighi di conformità.