Come funziona l'algoritmo anti-suicidi di Facebook e perché può essere un rischio

È passato quasi un anno da quando Facebook ha ampliato il suo programma anti-suicidi. Un pacchetto di strumenti mirati a supportare chi sta pensando di togliersi la vita. Il servizio ha un fine nobile, ma ripropone i soliti dubbi legati alla privacy degli utenti, tanto più dopo un 2018 in cui Facebook ha ammesso alcune falle che hanno esposto milioni di utenti. In breve: l'algoritmo che rileva i segnali di rischio immagazzina anche dati sensibili, ad esempio sulla salute mentale degli interessati. Allo stesso tempo, però, Facebook ha il permesso di gestirli in modo più disinvolto rispetto ad ambulatori e ospedali. Il problema esiste, tanto che, grazie al Gdpr, la funzione non è utilizzata in Europa ma solo negli Stati Uniti e in altre aree del pianeta dove le maglie normative sono più larghe.

Come funziona

L'algoritmo scandaglia praticamente ogni post presente su Facebook. E classifica dei “pezzi” del messaggio secondo una scala da zero a uno, dove il grado più alto è quello di “rischio imminente”. Dopo essere stato etichettato, il post viene inoltrato a un primo team di moderatori umani. Anche se, negli ultimi mesi, non sono mancati i dubbi su una formazione adeguata, Facebook assicura che i moderatori ricevono istruzioni precise, studiate da specialisti, su “contenuti potenzialmente legati a suicidio, automutilazione e disordini alimentari” e “identificazione di una potenziale minaccia credibile o imminente di suicidio”.

In questa prima fase, i contenuti non sono associati al nome dell'utente. Se giudicato a rischio, viene inoltrato a un team di moderatori con maggiore esperienza sul campo e un passato nelle forze dell'ordine o in linee di servizi anti-suicidio e anti-stupro. Solo questo gruppo, più specializzato e ristretto, ha accesso a informazioni sensibili che legano post e identità dell'utente. Solo al termine di questa terza fase di analisi, si possono percorre due strade: contattare l'utente con informazioni e risorse di supporto o chiamare i soccorritori.

Perché un ospedale sì e Facebook no?

Facebook estrae dai post informazioni sullo stato di salute degli utenti. Il social network, però, non è tenuto al rispetto dello stesso standard di privacy dei fornitori di servizi sanitari. Diversi esperti, tra i quali Natasha Duarte, analista del Center for Democracy and Technology – intervistata da Business Insider – sostengono si tratti di “informazioni sanitarie sensibili”: “Chiunque raccolga questo tipo di dati e intervenga sulle persone” dovrebbe essere trattato nella stessa maniera. Che sia un ospedale, una compagnia assicurativa o Facebook. Attualmente, però, le leggi statunitensi non equiparano le tracce social sui suicidi con i dati sanitari. Facebook, quindi, non è obbligato a rispettare gli stessi limiti previsti dall'Health Insurance Portability and Accountability Act. Che, tra le altre cose, impongono il divieto di condivisione e un pieno accesso dei pazienti ai propri dati.

Privacy e salute mentale

L'allarme è stato rilanciato nei mesi scorsi, vista la scarsa trasparenza dimostrata da Facebook nella gestione dei dati e le falle nel suo sistema di sicurezza, non certo blindato. Il gruppo ha confermato che i segnali di allarme con punteggi vicini allo zero vengono eliminati dopo 30 giorni. Ma non ha fornito dettagli sulla gestione di quelli indicati con un rischio maggiore. C'è quindi il rischio che alcune informazioni sensibili siano, prima o poi, bersaglio di cyber-attacchi. Con una preoccupazione in più: lo stigma del disturbo mentale è ancora marcato. E potrebbe quindi esporre gli utenti persino più di quanto non facciano informazioni sullo stato di salute fisico.

Il protocollo anti-suicidi di Facebook prevede poi – in casi estremi – la richiesta di intervento delle forze dell'ordine. Un altro rischio per la riservatezza, se l'algoritmo fraintendesse i segnali. In un anno, ha spiegato Mark Zuckerberg in post dello scorso novembre, “abbiamo aiutato circa 3.500 persone nel mondo”. Ma sono noti anche casi di falso allarme. Come quello di una donna dell'Ohio, obbligata dalla polizia a un controllo psicologico dopo aver ricevuto un Sos da Facebook. La bontà delle intenzioni non è in discussione. Resta però il fatto che Menlo Park possa gestire dati sanitari in modo più libero solo per il fatto che non vengono raccolti in un contesto esclusivamente medico. Diversi esperti chiedono un intervento normativo. O almeno una maggiore trasparenza, lasciando agli utenti la libertà di decidere se aprire i propri post al programma anti-suicidi.