La start-up di San Francisco, OpenAI, nota per il suo chatbot ChatGPT, ha attirato l’attenzione per le sue risposte simili a quelle umane, ma è stata criticata anche per aver inventato informazioni.
Una nuova start-up chiamata Vectara, fondata da ex dipendenti di Google, sta conducendo una ricerca sulla frequenza dell’allucinazione dei chatbot. I loro risultati suggeriscono che anche in situazioni controllate, i chatbot inventano informazioni tra il 3% e il 27% delle volte. La ricerca indica che tale comportamento, considerato allucinazione, rappresenta un problema serio quando si tratta di informazioni sensibili come documenti giudiziari, dati medici o registri aziendali.
Poiché i chatbot possono rispondere alle richieste in modi numerosi, è difficile determinare l’estensione dell’allucinazione. I ricercatori di Vectara hanno testato vari sistemi di chatbot, tra cui quelli di OpenAI, Meta (Facebook e Instagram), Anthropic e Google, riscontrando tassi variabili di allucinazione.
La ricerca di Vectara ha coinvolto specificamente la richiesta ai chatbot di riassumere articoli di notizie, un compito considerato semplice e verificabile. Tuttavia, anche in questo contesto, i chatbot hanno generato costantemente informazioni inaccurate. I ricercatori sostengono che i tassi di allucinazione potrebbero essere ancora più alti per compiti più complessi oltre al riassunto.
La tecnologia sottostante che guida i chatbot, nota come large language models (LLM), apprende da vaste quantità di testo digitale per predire la parola successiva in una sequenza. Tuttavia, poiché Internet contiene disinformazione, questi modelli possono ripetere falsità e fare affidamento su probabilità, portando a occasionali inesattezze.
I ricercatori avvertono che il problema fondamentale dell’allucinazione dei chatbot è complesso, poiché questi sistemi operano basandosi su modelli e probabilità, portando a comportamenti occasionalmente indesiderati.
Leggi qui l’intero articolo: Chatbots May ‘Hallucinate’ More Often Than Many Realize
