IA e salute: una risposta su due è inaffidabile

AGI - I chatbot basati su intelligenza artificiale, sempre più utilizzati anche per ottenere informazioni sanitarie, forniscono risposte spesso incomplete o inesatte, con possibili conseguenze per la salute degli utenti. Lo evidenzia uno studio guidato da Nicholas Tiller del Lundquist Institute for Biomedical Innovation at Harbor-UCLA Medical Center, pubblicato sulla rivista BMJ Open, che ha analizzato le prestazioni di cinque tra i sistemi più diffusi.

Come è stata condotta la ricerca

I ricercatori hanno sottoposto i chatbot a 250 domande su temi particolarmente sensibili e già esposti alla disinformazione, come vaccini, tumori, nutrizione, cellule staminali e prestazioni sportive. Le domande, formulate sia in modalità aperta sia chiusa, riproducevano richieste realistiche di utenti alla ricerca di informazioni mediche online e, in alcuni casi, erano progettate per mettere alla prova i modelli rispetto a contenuti fuorvianti o scientificamente controversi.

I risultati: metà delle risposte presenta criticità

Dall'analisi emerge che il 50% delle risposte presenta criticità: il 30% è stato classificato come "parzialmente problematico", mentre il 20% come "altamente problematico", ossia tale da poter orientare un utente verso scelte sanitarie inefficaci o addirittura dannose se seguite senza consulto medico. Le risposte generate a domande aperte si sono dimostrate significativamente più vulnerabili, con una maggiore tendenza a produrre contenuti errati o fuorvianti, mentre le domande chiuse hanno portato più spesso a risultati corretti.

Risposte sicure ma non sempre affidabili

Un elemento rilevante riguarda il tono delle risposte: i chatbot tendono a esprimersi con sicurezza e apparente autorevolezza, raramente accompagnando le informazioni con avvertenze, limiti o inviti a rivolgersi a un professionista. Questo può aumentare il rischio che gli utenti interpretino le risposte come affidabili e definitive.

Anche la qualità delle fonti citate risulta problematica: in media, la completezza delle referenze si ferma al 40% e sono frequenti casi di citazioni inesistenti o imprecise, un fenomeno noto come "hallucination".

I temi più critici: dove i chatbot sbagliano di più

Dal punto di vista della comprensibilità, i testi prodotti si collocano su un livello linguistico elevato, equivalente a quello richiesto a un laureato, rendendo più difficile l'accesso alle informazioni per una parte significativa della popolazione. Tra i diversi ambiti analizzati, i chatbot hanno mostrato prestazioni migliori su vaccini e tumori, mentre i risultati peggiori riguardano cellule staminali, nutrizione e performance atletica.

Perché i chatbot commettono errori

Lo studio sottolinea che queste criticità derivano anche dalla natura stessa dei modelli generativi, che non ragionano ne' valutano criticamente le evidenze, ma producono risposte sulla base di schemi statistici appresi dai dati di addestramento. Questi includono anche contenuti provenienti da forum, social media e fonti non sempre affidabili, mentre solo una parte limitata della letteratura scientifica è effettivamente accessibile.

I rischi per gli utenti e le possibili soluzioni

In un contesto in cui sempre più persone utilizzano i chatbot come sostituti dei motori di ricerca o come strumenti per orientarsi in ambito sanitario, i ricercatori richiamano l'attenzione sulla necessita' di interventi mirati. Tra le priorità indicate figurano programmi di educazione per il pubblico, formazione specifica per i professionisti e l'introduzione di meccanismi di supervisione e regolamentazione. L'obiettivo è evitare che questi strumenti, pur offrendo grandi potenzialità, contribuiscano alla diffusione di informazioni scorrette o fuorvianti in ambito medico.