Lo studio della Cornell University si concentra su ChatGPT e cerca di valutarne le capacità come sistema di raccomandazione “zero-shot”, ovvero senza addestramento specifico per tale scopo.
Gli obiettivi principali dello studio includono la valutazione delle capacità di ChatGPT nel fare raccomandazioni basate sulle preferenze degli utenti, migliorare le liste di raccomandazioni esistenti, sfruttare le informazioni di utenti simili e gestire situazioni in cui non si conoscono le preferenze dell’utente.
Per valutare le performance di ChatGPT, vengono condotti esperimenti su diversi set di dati e le sue prestazioni vengono confrontate con altri algoritmi di raccomandazione e modelli di linguaggio. Vengono utilizzate diverse metriche standard per misurare l’efficacia delle raccomandazioni generate.
L’obiettivo complessivo dello studio è contribuire alla ricerca sull’uso dei grandi modelli di linguaggio, come ChatGPT, nei sistemi di raccomandazione. Il codice sperimentale utilizzato nello studio è disponibile su un repository GitHub per consentire a altri ricercatori di esaminare e riprodurre i risultati.
Qui l’intero paper: Evaluating ChatGPT as a Recommender System: A Rigorous Approach
