I modelli sono cresciuti a ritmi vertiginosi. Il gpt-4, rilasciato a marzo, si pensa abbia circa 1 trilione di parametri, quasi sei volte di più del suo predecessore. Sam Altman, il capo dell’azienda, ha stimato i costi di sviluppo in oltre 100 milioni di dollari. Tendenze simili si registrano in tutto il settore.
Nel 2022 la società di ricerca Epoch ai ha stimato che la potenza di calcolo necessaria per addestrare un modello all’avanguardia raddoppiava ogni sei-dieci mesi.
Questo gigantismo sta diventando un problema. Se la cifra del raddoppio decennale di Epoch ai è corretta, i costi di addestramento potrebbero superare il miliardo di dollari entro il 2026, sempre che i modelli non esauriscano prima i dati.
Anche una volta completato l’addestramento, l’utilizzo effettivo del modello risultante può essere costoso. Più il modello è grande, più costa farlo funzionare.
Molti operatori del settore ritengono quindi che l’approccio stia esaurendo la sua strada. Se si vuole che i modelli ai continuino a migliorare, i loro creatori dovranno trovare il modo di ottenere maggiori prestazioni con meno risorse.
I ricercatori stanno dunque iniziando a rendere i loro modelli più efficienti, piuttosto che semplicemente più grandi. Un approccio consiste nel fare dei compromessi, riducendo il numero di parametri ma addestrando i modelli con più dati.
Un’altra opzione è quella di concentrarsi su un compito specifico, come l’individuazione di fake news. Si tratta di un’operazione meno onerosa rispetto alla formazione di un Large Language Model, ma può essere comunque costosa e lenta.
Continua a leggere! Estratto da: The bigger-is-better approach to AI is running out of road
