LLM: dalla complessità alla semplicità nel recupero delle conoscenze

I modelli linguistici di grandi dimensioni utilizzano una tecnica sorprendentemente semplice per recuperare informazioni memorizzate e i ricercatori hanno scoperto un metodo per esplorare ciò che questi modelli sanno su nuovi argomenti. 

Questi modelli (come ChatGPT) sono complessi, ma l’uso di funzioni lineari per decodificare le informazioni suggerisce che ci sono meccanismi più semplici al lavoro. I ricercatori hanno condotto esperimenti che hanno dimostrato come i modelli utilizzino queste funzioni per recuperare dati relativi a vari argomenti. Hanno anche sviluppato uno strumento, chiamato “lente attributo”, che visualizza dove le informazioni specifiche sono memorizzate nei modelli, aiutando così a comprendere meglio il funzionamento interno dei modelli stessi. 

Questo lavoro potrebbe aprire la strada a nuove tecniche per migliorare la precisione dei modelli linguistici e correggere eventuali informazioni errate memorizzate al loro interno.

Leggi l’articolo completo: Large language models use a surprisingly simple mechanism to retrieve some stored knowledge su web.mit.edu.

Large language models use a surprisingly simple mechanism to retrieve some stored knowledge

Researchers find large language models use a simple mechanism to retrieve stored knowledge when they respond to a user prompt. These mechanisms can be leveraged to see what the model knows about different subjects and possibly to correct false information it has stored.

Foto di vackground.com su Unsplash.