IA, il punteggio che inganna: così 56 test possono orientare leggi e capitali

Un risultato elevato nei test non garantisce che un sistema di intelligenza artificiale sia davvero sicuro, imparziale o capace di ragionare. È questa la conclusione a cui arrivano due studi realizzati a Stanford, secondo cui molti strumenti di valutazione oggi adottati dal settore misurano anche fattori estranei alla qualità che dichiarano di esaminare.

Le ricerche, che saranno presentate a ottobre alla terza Conference on Language Modeling (COLM) di San Francisco, hanno passato in rassegna 56 benchmark molto utilizzati. Il problema non riguarda soltanto i laboratori: i punteggi contribuiscono a determinare il valore delle aziende, le scelte degli investitori e le future regole dei governi.

Quando i benchmark danno risposte opposte

In origine questi esami erano stati creati soprattutto per finalità accademiche. Con la diffusione dell’intelligenza artificiale generativa, però, sono diventati riferimenti quasi ufficiali per confrontare i modelli prima del loro rilascio, oltre che per valutare eventuali acquisti pubblici di software.

Sanmi Koyejo, professore assistente di informatica all'Università di Stanford, e Sang Truong, dottorando e ricercatore dello stesso ateneo, hanno applicato ai test criteri propri della psicometria e della scienza della misurazione. L'analisi ha rilevato che strumenti concepiti per giudicare la medesima abilità possono produrre esiti incompatibili, mentre prove rivolte a competenze diverse talvolta finiscono per sovrapporsi.

Il risultato è una fotografia poco affidabile delle capacità effettive dei modelli. Un punteggio, quindi, rischia di descrivere la familiarità dell'IA con la forma del test più che la proprietà che dovrebbe rappresentare.

Il caso dei pregiudizi nascosti

Un esempio riguarda il Bias Benchmark for Question Answering (BBQ), progettato per individuare discriminazioni nelle risposte automatiche. Le domande presentano scenari incompleti e offrono più alternative: in un caso, il sistema deve stabilire se John o Mary sia più forte, oppure riconoscere che le informazioni disponibili non permettono di scegliere.

La risposta neutrale è quella corretta, perché il quesito non fornisce elementi sull'età o sulla corporatura dei due personaggi. Un modello che indica John potrebbe essere influenzato dallo stereotipo della maggiore forza fisica maschile. Tuttavia, secondo l'analisi di Stanford, un sistema realmente condizionato da un pregiudizio potrebbe imparare a riconoscere la struttura-trappola e selezionare comunque l'opzione neutra.

Allo stesso tempo, un modello senza inclinazioni discriminatorie potrebbe sbagliare proprio perché non comprende la costruzione linguistica della domanda. Il test finirebbe così per premiare la capacità di interpretare il quesito e di evitare l'inganno, senza isolare davvero il livello di bias.

Sicurezza fragile quando cambia lingua

La seconda ricerca si concentra sui controlli destinati a verificare la resistenza ai jailbreak, cioè ai tentativi di aggirare le protezioni di un modello per ottenere contenuti espliciti, sessuali oppure indicazioni rischiose per la salute fisica e mentale. La maggior parte di queste prove nasce in inglese, una caratteristica che crea difficoltà quando viene trasferita ad altri idiomi.

In lingue meno rappresentate nei dati di addestramento, le difese possono risultare più deboli: richieste respinte in inglese potrebbero riuscire in una versione tradotta. Ma anche il test può cambiare natura, perché una traduzione può attenuare una sfumatura, alterare il significato o rendere la domanda più complessa rispetto all'originale.

Senza un metodo capace di separare i diversi fattori, non è possibile capire se la vulnerabilità dipenda dal modello o dalla qualità della traduzione. I ricercatori suggeriscono quindi di scomporre il risultato in componenti come la solidità linguistica generale, il livello di difficoltà della richiesta e la distanza tra gli idiomi esaminati.

La misurazione da rifare con metodo

Per rendere più attendibili le valutazioni, Stanford propone di ricorrere a concetti già impiegati nei test attitudinali e nella metrologia. Tra gli esempi citati c'è il Scholastic Assessment Test (SAT), utilizzato negli Stati Uniti per stimare la preparazione degli studenti.

Un primo criterio è la validità convergente: prove diverse che puntano alla stessa caratteristica dovrebbero arrivare a risultati coerenti. La validità discriminante, invece, serve a verificare che strumenti costruiti per analizzare aspetti differenti restituiscano differenze riconoscibili.

L'obiettivo non è eliminare i benchmark esistenti, ma controllare quanto siano collegati al comportamento reale dei sistemi. Per i ricercatori, limitarsi a confrontare i test tra loro senza verificarne l'aderenza alla realtà significa usare strumenti non calibrati per prendere decisioni molto concrete.

Il rischio per mercato e istituzioni

Le classifiche dei benchmark possono influenzare direttamente la reputazione e il valore economico delle società che sviluppano modelli di IA. Da quei risultati dipendono anche valutazioni degli investitori, scelte di approvvigionamento degli enti pubblici e orientamenti legislativi.

Se il metro è difettoso, a cambiare direzione possono essere non soltanto le aziende, ma anche le politiche sulla tecnologia. La questione sollevata dagli studi di Stanford riguarda dunque il modo in cui l'intero settore decide che cosa sia un sistema affidabile, sicuro o privo di pregiudizi.