I modelli di linguaggio di grandi dimensioni (Large Language Models, LLMs) che alimentano chatbot all’avanguardia come ChatGPT di OpenAI e Bard di Google sono composti da oltre 100 miliardi di parametri. Questi modelli mastodontici richiedono enormi quantità di energia per l’addestramento e presentano problemi di sostenibilità ambientale. Per questo gli sviluppatori di IA hanno iniziato a rivalutare i modelli miniaturizzati.
Di recente Microsoft ha presentato phi-1.5, un modello linguistico con “soli” 1,3 miliardi di parametri ma in grado di competere con sistemi ben più grandi. Anche se inferiore a chatbot come GPT-4, phi-1.5 dimostra che l’IA di piccole dimensioni può essere potente. I modelli compatti risolverebbero molti problemi: consumano meno energia, sono più accessibili, possono essere inseriti in dispositivi portatili garantendo la privacy, e sono più interpretabili, permettendo di comprendere meglio il loro funzionamento.
Insomma, per alcuni ricercatori pensare in piccolo può “democratizzare l’IA” e aprire nuove possibilità di ricerca cognitiva. Spesso infatti i modelli mastodontici nascondono limitazioni. Applicando strategie minimali si possono ottenere grandi progressi. Come dice un ricercatore Microsoft, a volte “più piccolo è più intelligente”.
Fonte: https://www.scientificamerican.com/article/when-it-comes-to-ai-models-bigger-isnt-always-better/
