Gli algoritmi possono essere razzisti?

Gli algoritmi che vengono utilizzati per i modelli di gestione e di pianificazione delle spese sanitarie soffrono di razzismo a discapito dei pazienti di origine africana. Sono queste le principali conclusioni di un progetto di ricerca realizzato da un gruppo di analisti guidati da Ziad Obermeyer della School of Public Health, University of California, Berkeley che hanno pubblicato i risultati delle loro ricerche sulla rivista Science.

I ricercatori hanno dimostrato che un algoritmo ampiamente utilizzato, tipico di questo approccio a livello di settore e che riguarda milioni di pazienti, presenta un significativo pregiudizio razziale che va a discapito dei pazienti neri a cui è attribuita uno stato di salute che non corrisponde alla realtà effettiva. Rimediare a questa disparità aumenterebbe la percentuale di pazienti neri che ricevono ulteriore aiuto dal 17,7 al 46,5%.

Il pregiudizio sorge perché l'algoritmo prevede i costi dell'assistenza sanitaria piuttosto che la malattia, ma un accesso disuguale alle cure significa che spendiamo meno soldi per prenderci cura dei pazienti neri rispetto ai pazienti bianchi. Pertanto, nonostante il costo dell'assistenza sanitaria appaia un efficace sostituto della salute da parte di alcune misure di accuratezza predittiva, sorgono grandi pregiudizi razziali. Gli autori hanno stimato che questo pregiudizio razziale riduce di oltre la metà il numero di pazienti neri identificati per cure extra.

La distorsione si verifica perché l'algoritmo utilizza i costi sanitari per le esigenze di salute. Dal momento che vengono spesi meno soldi per i pazienti neri che hanno lo stesso livello di necessità e l'algoritmo conclude quindi erroneamente che i pazienti neri sono più sani dei pazienti bianchi ugualmente malati.