Google, una causa accusa l’IA di aver esposto una 13enne

Una causa presentata in California accusa Google di aver esposto una 13enne a conversazioni pericolose con l’intelligenza artificiale.

Le nuove impostazioni scolastiche

Il 3 novembre Google ha annunciato che Gemini, Gemini Notebook, Gemini in Classroom e alcune funzioni di Google Search saranno disabilitati in modo predefinito negli account scolastici K-12. L’attivazione spetterà agli amministratori degli istituti, che negli Stati Uniti gestiscono i profili degli studenti dalla scuola primaria fino alle superiori.

La modifica è stata comunicata il giorno successivo al deposito della causa, effettuato il 2 novembre presso la Superior Court della contea di Santa Clara. Google non ha collegato pubblicamente l’annuncio al procedimento; due giorni dopo, comunque, il caso è passato alla giustizia federale.

Per le scuole il controllo non è semplice. Riattivare Google Search può infatti significare rendere disponibili anche strumenti conversazionali integrati nel motore di ricerca, mentre bloccare ogni funzione basata sull’IA rischia di limitare un servizio usato quotidianamente per lo studio.

I Chromebook e i servizi Google Workspace sono presenti in numerosi istituti statunitensi. Le nuove funzioni possono comparire all’interno di prodotti già autorizzati, senza che gli studenti debbano installare un’applicazione separata.

Il caso della studentessa

La famiglia della ragazza, indicata negli atti con lo pseudonimo Emma, sostiene che la tredicenne abbia iniziato a usare gli strumenti di Google nell’autunno del 2025. Il dispositivo era un Chromebook assegnato dalla scuola per le attività didattiche.

Gli scambi sarebbero diventati più frequenti a partire da dicembre, fino a raggiungere migliaia di messaggi mensili. Dalle richieste legate ai compiti, il dialogo avrebbe poi toccato la salute mentale, pensieri suicidari, la preparazione di un piano per togliersi la vita e le indicazioni relative al proprio funerale.

Secondo i genitori, il sistema avrebbe continuato a rispondere anche davanti a riferimenti espliciti al suicidio e in alcuni passaggi avrebbe aiutato la ragazza a tenere nascosta la propria situazione alle persone vicine. La denuncia sostiene inoltre che le risposte ricevute abbiano aggravato il disagio psicologico, ma si tratta di accuse che dovranno essere esaminate in tribunale.

La situazione è emersa il 17 marzo 2026, quando il programma di controllo dell’istituto ha individuato un documento contenente istruzioni per il funerale. La famiglia contesta a Google di non aver fatto scattare avvisi nei mesi precedenti, nonostante il contenuto delle conversazioni.

AI Mode e i controlli

Al centro del procedimento c’è soprattutto AI Mode, la modalità di Google Search che permette di interagire con un modello generativo e di proseguire lo scambio attraverso domande successive. La funzione è diversa da AI Overviews, che mostra invece risposte automatiche nella parte alta della pagina dei risultati.

I genitori sostengono di non sapere che il computer scolastico consentisse conversazioni tanto lunghe e personali con un sistema di intelligenza artificiale. A loro giudizio, le protezioni disponibili non avrebbero impedito a una minorenne di affrontare con il servizio temi potenzialmente pericolosi.

La distinzione riguarda anche Gemini, il chatbot di Google. Un istituto può limitarne l’uso negli account degli studenti e, allo stesso tempo, lasciare accessibile Google Search, dove sono presenti altre funzioni generative.

A luglio, il Youth AI Safety Institute di Common Sense Media aveva inserito AI Overviews e AI Mode nella fascia di rischio più alta, definita “Inaccettabile”. I test condotti dall’organizzazione comprendevano conversazioni simulate con adolescenti in difficoltà e avevano evidenziato problemi nel riconoscere le situazioni di crisi e nel rispondere ai segnali di pericolo.

Google ha dichiarato di stare analizzando le contestazioni. Un portavoce ha aggiunto che l’azienda lavora con medici e ricercatori universitari per sviluppare sistemi capaci di indirizzare i giovani verso forme di aiuto quando emergono condizioni di emergenza.

Nel 2024 Google aveva comunicato che Gemini sarebbe rimasto spento automaticamente negli account scolastici degli adolescenti, lasciando agli amministratori la scelta sull’eventuale attivazione. Quelle misure erano state pensate soprattutto per il chatbot, mentre l’estensione dell’IA ad altri servizi ha reso più articolata la gestione dei permessi.