Cento richieste innocue, un attacco: il nuovo rebus dell’IA

Il vero ostacolo non è più soltanto capire se una singola richiesta sia pericolosa. La sfida consiste nel ricostruire l’obiettivo complessivo di chi utilizza un sistema di intelligenza artificiale, anche quando lo divide in decine o centinaia di passaggi apparentemente legittimi. È questo il punto che rende più complessa la moderazione dei nuovi strumenti rispetto a quella dei social tradizionali.

La questione riguarda modelli capaci di scrivere codice, analizzare dati, produrre immagini e assistere attività di ricerca, ma anche di ridurre tempo, costi e competenze necessarie per preparare un attacco. Il problema diventa ancora più difficile quando il modello viene eseguito direttamente sul computer dell’utente, senza un gestore esterno in grado di osservare le conversazioni o bloccare gli abusi.

Il rischio si nasconde nella sequenza

Su YouTube e sulle altre piattaforme social il controllo parte di norma da un contenuto già prodotto. Ogni minuto YouTube riceve oltre 500 ore di video, mentre TikTok supera i 100 milioni di contenuti pubblicati ogni giorno: una quantità enorme, affrontata con sistemi automatici, segnalazioni degli utenti e interventi umani sui casi più delicati.

La moderazione dei video serve a individuare materiale sessualmente esplicito, violento, degradante o illegale. In passato questo compito ricadeva spesso su persone costrette a esaminare immagini e filmati estremamente disturbanti; oggi gli algoritmi filtrano gran parte del materiale e sottopongono ai moderatori le situazioni più controverse.

Con l’intelligenza artificiale generativa, però, non basta valutare una risposta isolata. Una richiesta per scrivere codice può essere lecita, così come una domanda sulla gestione delle credenziali o sulla soluzione di un errore. Il pericolo può emergere soltanto collegando tutti i passaggi e comprendendo quale risultato l’utente stia cercando di ottenere.

Claude e gli abusi già individuati

Il rapporto più recente di Anthropic sugli usi illeciti di Claude descrive episodi concreti. In Mali, un operatore avrebbe impiegato il modello per contribuire alla realizzazione di una piattaforma di sorveglianza destinata agli apparati informativi, con la possibilità di trattare i dati di circa 25 milioni di schede SIM. Anthropic ha individuato l’attività e chiuso gli account coinvolti, ma non è noto se il progetto sia stato abbandonato, trasferito su un altro sistema o completato con strumenti differenti.

In un caso distinto, una cellula attiva nel nord dello Yemen ha utilizzato Claude durante lo sviluppo del sistema di guida di un razzo. Dopo un collaudo fallito, gli sviluppatori hanno consultato nuovamente il modello per individuare l’origine del malfunzionamento. Il rapporto collega inoltre attività riconducibili allo spionaggio russo all’automazione di varie fasi di attacchi informatici, compresa la creazione e la modifica di software malevolo.

L’aspetto più indicativo, tuttavia, riguarda operazioni meno appariscenti. Alcuni utenti hanno frammentato un progetto dannoso in numerose domande separate, ciascuna difficile da considerare pericolosa. Solo l’analisi dell’insieme permetteva di riconoscere la finalità reale.

Più automazione, attacchi meno costosi

L’intelligenza artificiale può intervenire nella ricognizione, nella programmazione e nella ricerca delle vulnerabilità. Un’attività che in precedenza richiedeva tempo, denaro e personale specializzato può quindi diventare più rapida e accessibile. Di conseguenza, anche obiettivi considerati troppo costosi o poco interessanti possono trasformarsi in bersagli convenienti.

Uno degli episodi più gravi citati da Anthropic ha comportato il furto di oltre un terabyte di informazioni, inclusi centinaia di migliaia di identificativi personali e milioni di dati relativi a carte di pagamento. Il danno non dipende soltanto dalla quantità di materiale sottratto, ma anche dalla possibilità di replicare operazioni simili con risorse inferiori.

Per limitare questi rischi, i servizi commerciali controllano le richieste, analizzano le risposte e osservano la cronologia delle conversazioni. Devono però farlo senza compromettere la rapidità: milioni di utenti si aspettano risultati in pochi secondi. Filtri troppo permissivi lasciano spazio agli abusi; difese eccessivamente rigide possono rendere il sistema poco utile anche per chi lo adopera correttamente.

Il nodo dei modelli locali

Le aziende hanno motivi economici e reputazionali per rafforzare i controlli. Quando scoprono nuove tecniche per aggirarli, possono sospendere gli account, aggiornare i filtri e migliorare gli strumenti di rilevamento. Questo margine di intervento, però, non è sempre presente.

Esistono infatti modelli scaricabili e utilizzabili direttamente sul computer personale. In questi casi non è detto che un’impresa o un’autorità possa vedere le attività svolte, intervenire sulle risposte o interrompere l’uso del sistema. La protezione dipende dal modello scelto, dal modo in cui è stato sviluppato e dai limiti incorporati al suo interno.

La difficoltà dei prossimi anni sarà dunque riconoscere il fine complessivo di una serie di richieste senza penalizzare chi usa questi strumenti per studiare, lavorare, creare o fare ricerca. Stabilire che cosa un modello debba rifiutare è soltanto il primo passaggio: occorre anche capire, in tempo reale, quale progetto si cela dietro domande singolarmente innocue.

*Fabrizio Marozzo è professore associato di Ingegneria informatica all’Università della Calabria.