Gary Marcus riflette sulle difficoltà dei LLM di gestire la matematica.
Nel dibattito sull’abilità dei grandi modelli di linguaggio (LLM), come GPT, di comprendere concetti matematici complessi, emerge la questione fondamentale della loro capacità di gestire la matematica effettuare operazioni matematiche semplici, come la moltiplicazione. La discussione è stata scatenata da uno user su Xche sosteneva che “i transformer sanno moltiplicare”, fornendo un articolo come prova. Gary Marcus ha deciso di andare in fondo a questa storia.
Questo articolo, pur eseguendo il test in modo rigoroso, solleva dubbi sul fatto che i LLM comprendano veramente la matematica. Anzi, sembra indicare l’opposto. L’articolo dichiara che “GPT può risolvere problemi matematici senza una calcolatrice”, ma un’analisi critica dimostra che questa affermazione è fuorviante.
Gli autori hanno addestrato un modello chiamato MathGLM su un vasto dataset contenente una vasta gamma di operazioni aritmetiche. Si afferma che MathGLM sia in grado di affrontare espressioni aritmetiche complesse, comprese moltiplicazioni con numeri a otto cifre, decimali e frazioni, grazie all’uso del concetto di apprendimento graduale.
Tuttavia, il confronto con una calcolatrice rivela una realtà diversa. Mentre il MathGLM ottiene risultati impressionanti con problemi di moltiplicazione a cinque cifre, le sue prestazioni diminuiscono man mano che la complessità dei problemi aumenta. La discrepanza tra MathGLM e una calcolatrice diventa sempre più evidente, le difficoltà dei LLM di gestire la matematica restano evidenti.
La chiave del problema sembra risiedere nella generalizzazione dei LLM per somiglianza, con prestazioni migliori per i casi che rientrano nel loro set di addestramento. Ma non riescono mai a sviluppare una rappresentazione completa e astratta della matematica come farebbe una calcolatrice, programmata con un algoritmo matematico. Questa critica solleva dubbi sull’affidabilità dei LLM nella comprensione matematica.
Leggi l’articolo completo su Marcus on AI:
Immagine in copertina di di Bekky Bekks su Unsplash.
