Quando il chatbot batte l’esperto: il rischio nascosto delle risposte AI

La risposta di un chatbot può apparire sicura, ordinata e dettagliata anche quando è sbagliata. È proprio questa combinazione a spingere alcune persone a fidarsi dell’intelligenza artificiale più che di chi conosce direttamente un prodotto, un luogo o una situazione.

Il fenomeno emerge anche in attività quotidiane, dalla scelta di una bottiglia di vino alla pianificazione di un viaggio. Finché l’errore resta marginale, le conseguenze possono essere limitate; il problema diventa più serio quando l’utente respinge il parere di un professionista perché ritiene che ChatGPT o strumenti simili abbiano necessariamente ragione.

La sicurezza della macchina inganna

Le cosiddette allucinazioni indicano la tendenza dei sistemi generativi a produrre comunque una risposta, anche in assenza di informazioni corrette o sufficienti. Il risultato può contenere dati inesatti, riferimenti inventati o collegamenti del tutto infondati, presentati però con un tono apparentemente affidabile.

Questa modalità di comunicazione rende l’errore difficile da riconoscere per chi non possiede competenze specifiche. Una persona può quindi scambiare la forma convincente della risposta per una prova della sua accuratezza, senza verificare ciò che il programma ha affermato.

Quando l’esperto viene messo da parte

The Verge ha raccolto le testimonianze di diversi lavoratori che si sono trovati a discutere con clienti convinti della superiorità del chatbot rispetto alla loro esperienza. In questi casi, la conoscenza diretta maturata sul campo viene considerata meno attendibile di una risposta generata automaticamente.

Il meccanismo può comparire in molti contesti: chi opera nel settore di un prodotto, conosce una destinazione o affronta ogni giorno una determinata situazione può vedersi contestare il proprio giudizio sulla base di un testo prodotto dall’IA. Il nodo non riguarda soltanto l’eventuale errore iniziale, ma la fiducia eccessiva con cui viene accolto.

Un limite ancora irrisolto

Affidarsi a un sistema automatico per un consiglio semplice non è di per sé problematico. Diventa rischioso quando la comodità sostituisce ogni controllo e quando l’utente presume che il programma debba rispondere correttamente a qualsiasi domanda.

Le allucinazioni, infatti, non sono state eliminate. Per questo le risposte dell’intelligenza artificiale dovrebbero essere valutate con prudenza, soprattutto nei casi in cui l’esperienza concreta di una persona competente offre elementi più solidi e verificabili.