In un documento intitolato “Large Language Models as Optimizers” (Modelli linguistici di grandi dimensioni come ottimizzatori), pubblicato questo mese su arXiv, gli scienziati di DeepMind hanno presentato Optimization by PROmpting (OPRO), un metodo per migliorare le prestazioni dei modelli linguistici di grandi dimensioni (LLM) come ChatGPT di OpenAI e PaLM 2 di Google. Questo nuovo approccio aggira i limiti degli ottimizzatori tradizionali basati sulla matematica utilizzando il linguaggio naturale per guidare gli LLM nella risoluzione dei problemi.
Immaginate le prestazioni di un modello come una curva su un grafico: l’obiettivo è trovare il punto più basso di questa curva, perché è lì che il modello commette il minor numero di errori. L’ottimizzatore aiuta il modello ad avvicinarsi sempre di più al punto di minimo ideale, rendendolo più preciso ed efficiente per qualsiasi compito sia stato progettato.
Piuttosto che fare affidamento su definizioni matematiche formali per eseguire questo compito, OPRO utilizza “meta-prompt” descritti in linguaggio naturale per preparare il terreno al processo di ottimizzazione.
Ma alcune frasi specifiche hanno avuto un impatto rilevante sul processo di ottimizzazione:
“Fai un respiro profondo e lavora su questo passo dopo passo”
Estratto da: Telling AI model to “take a deep breath” causes math scores to soar in study
Leggi l’articolo scientifico citato: Large Language Models as Optimizers
Foto di Aideal Hwa su Unsplash
