Philip Ball ha pubblicato sulla rivista Nature, il 5 dicembre 2023, l’articolo “Is AI leading to a reproducibility crisis in science?” (“L’IA sta portando a una crisi della riproducibilità nella scienza?”) in cui discute delle preoccupazioni dei ricercatori riguardo all’uso dell’intelligenza artificiale (AI) nella scienza, evidenziando come l’impiego improprio dell’AI stia causando un’ondata di ricerche poco affidabili o inutili, delineando un paesaggio scientifico che sembra essere ancora in uno stato di “far west”, dove le regole e le pratiche standard sono ancora in fase di definizione e applicazione.
L’articolo cita alcuni studi problematici, sollevando preoccupazioni sulla validità e sulla riproducibilità dei risultati ottenuti.
- Durante la pandemia da COVID-19, un team di ricerca in India ha affermato di poter diagnosticare casi di COVID-19 utilizzando l’AI per analizzare le immagini a raggi X. Tuttavia, successive analisi condotte da altri ricercatori hanno sollevato dubbi sulla validità di questo approccio. È emerso che l’AI sembrava in grado di individuare casi positivi di COVID-19 analizzando solo le sezioni di immagini prive di parti anatomiche, come i fondi delle immagini, senza prendere in considerazione effettivamente le caratteristiche cliniche rilevanti. In altre parole, l’AI sembrava basarsi su differenze presenti nei fondi delle immagini, anziché su caratteristiche mediche rilevanti per una diagnosi accurata.
- Altri casi evidenziati riguardano studi in cui l’AI è stata utilizzata per il riconoscimento di entità, come volti o cellule, in immagini in cui tali entità non erano presenti: l’AI sembrava essere in grado di riconoscere volti anche in immagini prive di volti effettivi, o di individuare cellule anche in immagini dove non erano presenti.
- Un altro esempio riguarda l’AI sviluppata da Google Health per analizzare immagini retiniche al fine di individuare la retinopatia diabetica, una condizione che può portare alla cecità. Quando questo sistema è stato testato in contesti clinici diversi da quelli in cui era stato addestrato, ha mostrato una significativa inefficacia. L’AI aveva imparato a riconoscere la retinopatia diabetica da immagini di alta qualità, ma quando è stato utilizzato in cliniche dove le immagini non erano sempre di alta qualità, il sistema ha rifiutato molte di esse.
- Alcuni problemi evidenziati riguardano la mancanza di separazione tra i dati utilizzati per addestrare un modello di AI e quelli utilizzati per testarlo, il che causa il trasferimento non autorizzato di dati (“data leakage”), portando alla scarsa capacità dei modelli di generalizzare su dati non precedentemente osservati
L’articolo sottolinea la crisi della riproducibilità, ovvero la mancanza di capacità di replicare i risultati di studi scientifici basati sull’AI. L’obiettivo è garantire che i risultati siano affidabili e possano essere replicati da altri ricercatori. Per fare questo, gli esperti propongono l’adozione di raccomandazioni specifiche che incoraggiano la divulgazione pubblica dei dettagli dei metodi impiegati, nonché dei dati utilizzati durante lo studio.
Occorre ricordare che i principi chiave che garantiscono l’affidabilità e la validità della ricerca sono:
- Riproducibilità: Gli esperimenti e gli studi devono essere strutturati in modo tale da consentire a altri ricercatori di replicare gli stessi risultati utilizzando gli stessi metodi e dati.
- Trasparenza: Tutti i dettagli dei metodi, dei dati raccolti e delle analisi devono essere resi disponibili e comprensibili, permettendo la verifica e la comprensione del processo sperimentale.
- Controllo: Le variabili che possono influenzare i risultati dell’esperimento devono essere controllate o, almeno, tenute in considerazione, riducendo al minimo le interferenze esterne che potrebbero alterare i risultati.
- Validità interna ed esterna: I risultati devono essere validi sia all’interno dell’ambito specifico dell’esperimento sia in contesti esterni simili, garantendo che siano applicabili e generalizzabili.
- Metodologia chiara: L’approccio metodologico utilizzato deve essere ben definito e appropriato per la domanda di ricerca posta, assicurando la coerenza e la validità della ricerca.
- Revisione paritaria: Prima della pubblicazione, la ricerca viene esaminata e valutata da esperti indipendenti nel campo, assicurando che rispetti gli standard accettati e sia di alta qualità.
La trasparenza, la divulgazione dettagliata dei metodi e la possibilità di replicare gli esperimenti sono pilastri fondamentali della pratica scientifica che talvolta possono essere messi alla prova dall’AI.
Pertanto, è fondamentale sottolineare che l’AI, sebbene offra potenziali vantaggi nella ricerca e nella pratica medica, deve essere integrata in studi riproducibili e controllabili. Solo attraverso la trasparenza, il controllo e la validità scientifica dei metodi utilizzati nell’AI, possiamo garantire che il suo impiego nella medicina sia affidabile, sicuro ed eticamente responsabile, evitando così il rischio di irrazionalità e incertezza che potrebbero mettere a repentaglio la salute e il benessere delle persone.
L’articolo ci fa riflettere che siamo di fronte ad un bivio critico: dobbiamo bilanciare il potenziale dei risultati dell’AI con l’esigenza imprescindibile di rigorosi standard scientifici. Questo equilibrio tra il sorprendente e il fondato rappresenta la sfida cruciale per garantire che l’AI sia una forza positiva e attendibile nel panorama scientifico e medico.
