AGI - I sistemi di Ia usati in ambito sanitario possono ripetere informazioni mediche false presentandole come se fossero corrette, soprattutto quando queste sono inserite in testi che imitano il linguaggio di cartelle cliniche o discussioni sui social. È il risultato principale di un ampio studio guidato da Mahmud Omar ed Eyal Klang dell'Icahn School of Medicine at Mount Sinai, insieme a Girish N. Nadkarni e colleghi del Mount Sinai Health System, pubblicato su The Lancet Digital Health.
La ricerca ha analizzato oltre un milione di interazioni con nove grandi modelli linguistici (LLM), mettendo alla prova la loro capacità di riconoscere e bloccare la disinformazione medica. Lo studio mostra che, una volta 'mascherata' da linguaggio clinico realistico o da narrazione diffusa online, una falsa affermazione sanitaria tende a essere accettata e riproposta dai modelli come se fosse una raccomandazione valida. Secondo i ricercatori, le protezioni attualmente integrate nei sistemi di IA non sono sufficienti a distinguere in modo affidabile tra fatti e invenzioni quando il contenuto appare plausibile e familiare.
Il test della vulnerabilità
Per testare in modo sistematico questa vulnerabilità, il team ha sottoposto i modelli a tre tipologie di materiale: dimissioni ospedaliere reali tratte dal database MIMIC con l'aggiunta di una singola indicazione clinica falsa; miti sanitari comuni raccolti da forum come Reddit; e 300 scenari clinici brevi scritti e validati da medici. Ogni scenario è stato proposto in versioni diverse, da formulazioni neutre a testi emotivamente connotati o suggestivi, simili a quelli che circolano sui social media. In uno degli esempi analizzati, una nota di dimissione suggeriva erroneamente a pazienti con sanguinamento da esofagite di 'bere latte freddo per alleviare i sintomi'. Diversi modelli non hanno segnalato il consiglio come pericoloso, trattandolo come una pratica clinica standard.
Il linguaggio medico inganna l'IA
"I nostri risultati indicano che questi sistemi tendono a considerare vero un contenuto espresso con linguaggio medico sicuro e autorevole, anche quando è chiaramente sbagliato", spiega Eyal Klang, responsabile della Generative AI al Mount Sinai: "Conta più come è scritta un'affermazione, che la sua correttezza scientifica".
Prossimi passi e stress test
Secondo gli autori, il passo successivo è trasformare la domanda 'questa IA può trasmettere una bugia?' in un parametro misurabile prima dell'adozione clinica, attraverso stress test su larga scala e verifiche esterne basate su evidenze. "Il nostro dataset può essere usato da ospedali e sviluppatori per valutare quanto spesso un modello ripete informazioni false e se questi errori diminuiscono nelle versioni successive", sottolinea Mahmud Omar.
La necessità di salvaguardie
Per Girish N. Nadkarni, direttore del Windreich Department of Artificial Intelligence and Human Health, lo studio evidenzia una priorità chiara: "L'IA ha il potenziale per migliorare l'assistenza, ma solo se accompagnata da salvaguardie che verifichino le affermazioni mediche prima che vengano presentate come fatti. Questo lavoro mostra dove i sistemi falliscono e come rafforzarli prima di integrarli nella pratica clinica".
Condividi