AGI - Un nuovo strumento potrebbe rendere più sicuri e affidabili i sistemi di intelligenza artificiale utilizzati in medicina, individuando i bias nascosti nei dati con cui vengono addestrati prima ancora che i modelli vengano impiegati nella pratica clinica.
A svilupparlo è un gruppo di ricercatori della Johns Hopkins University, in collaborazione con la Food and Drug Administration (FDA) degli Stati Uniti, coordinato da Mathias Unberath.
Lo studio è pubblicato sulla rivista npj Digital Medicine. Il software, denominato G-AUDIT (Generalized Attribute Utility and Detectability-Induced Bias Testing), analizza direttamente i dataset di addestramento per identificare caratteristiche non cliniche che potrebbero essere utilizzate dall'intelligenza artificiale per formulare diagnosi o previsioni apparentemente corrette, ma basate su correlazioni fuorvianti.
L'obiettivo è evitare che i modelli imparino ad associare elementi irrilevanti agli esiti clinici, compromettendo l'affidabilità delle decisioni mediche. "I modelli che guidano la medicina di precisione imparano a dedurre gli esiti clinici dai dati con cui vengono addestrati. In molti casi questo funziona molto bene, ma può anche portare a errori non immediatamente evidenti", spiega Mathias Unberath. "Lo strumento che abbiamo sviluppato permette di capire quali elementi dei metadati rappresentano il maggiore rischio di introdurre un bias nel modello". I ricercatori richiamano il cosiddetto "fenomeno di Clever Hans", il cavallo che all'inizio del Novecento sembrava saper risolvere problemi matematici ma in realtà interpretava inconsapevolmente i segnali del suo addestratore. Allo stesso modo, anche l'intelligenza artificiale può arrivare alla risposta corretta utilizzando indizi sbagliati
Gli autori ricordano, ad esempio, modelli addestrati a riconoscere il sesso di una persona osservando gli occhi che, anziché basarsi su caratteristiche biologiche, avevano imparato a identificare la presenza del mascara. A differenza dei sistemi oggi disponibili, che valutano i bias osservando il comportamento del modello dopo l'addestramento, G-AUDIT analizza i dati prima che vengano utilizzati, classificando gli attributi che potrebbero indurre correlazioni spurie.
Il metodo è stato testato su immagini mediche, testi e fogli di calcolo, individuando difetti nella raccolta dei dati e nelle condizioni di acquisizione che avrebbero potuto compromettere le prestazioni dell'intelligenza artificiale. In uno degli esempi riportati dagli autori, un dataset per la diagnosi del tumore della pelle comprendeva immagini provenienti da una clinica oncologica, che utilizzava fotocamere diverse e inseriva spesso un righello accanto alla lesione per monitorarne la crescita, e immagini raccolte in un ambulatorio dermatologico generale.
Un sistema di IA avrebbe quindi potuto associare erroneamente la presenza del righello o la qualità della fotocamera alla probabilità di tumore, anziché analizzare le caratteristiche della lesione. "Se un algoritmo addestrato in questo modo venisse utilizzato con le immagini di uno smartphone, dove il righello non è presente e la qualità della fotocamera è diversa, potrebbe produrre risultati distorti e creare disuguaglianze nell'assistenza sanitaria", osserva Unberath.
Secondo gli autori, il nuovo approccio potrebbe aiutare ricercatori, sviluppatori e autorità regolatorie a identificare in anticipo le fonti di errore nei dataset, migliorando l'affidabilità dei sistemi di intelligenza artificiale destinati alla medicina e, in futuro, anche ad altri settori applicativi.