L'allarme: l'IA sta falsando sondaggi e ricerche online

AGI - L’intelligenza artificiale è sempre più capace di simulare il comportamento umano e di rispondere a sondaggi online e rilevazioni politiche, mettendo seriamente a rischio l’affidabilità della ricerca basata su survey, uno strumento centrale nelle scienze sociali e nei processi democratici.

È quanto sostengono tre ricercatori dell’IMT School for Advanced Studies Lucca e dell’Università di Cambridge in un commento pubblicato sulla rivista Nature. Secondo gli autori, l’uso crescente di agenti di intelligenza artificiale in grado di compilare questionari con poca o nessuna supervisione umana rappresenta un cambiamento strutturale nel problema delle frodi nei sondaggi.

Gli studi

Studi citati nel commento indicano che una quota non trascurabile delle risposte, variabile dal 4 al 90% in alcune popolazioni, può essere falsa o fraudolenta. Anche percentuali molto più basse possono però avere effetti rilevanti: in presenza di effetti statistici piccoli, una contaminazione dei dati pari al 3–7% può invalidare le conclusioni di una ricerca. “I problemi sono cambiati di scala”, scrivono gli autori, sottolineando come gli strumenti tradizionali per distinguere tra risposte umane e non umane non siano più efficaci.

“Non possiamo più dire se chi risponde sia una persona o no, e il risultato è che tutti i dati sono potenzialmente contaminati”, spiega Folco Panizza, ricercatore dell’IMT School for Advanced Studies Lucca e tra gli autori del commento. Piattaforme ampiamente utilizzate per la raccolta di dati, come Amazon Mechanical Turk, Prolific e Lucid, consentono da anni di ottenere rapidamente grandi quantità di risposte a basso costo, ma sono oggi particolarmente vulnerabili alla manipolazione da parte di sistemi automatici.

Gli strumenti di controllo sono sempre meno efficaci

I tradizionali strumenti di controllo, come i CAPTCHA o le domande di attenzione inserite nei questionari, risultano sempre meno efficaci di fronte a modelli avanzati capaci di produrre risposte fluide, coerenti e contestualizzate, spesso migliori di quelle umane. Gli autori propongono quindi un cambio di strategia su più livelli. Da un lato suggeriscono di analizzare i cosiddetti “paradata”, come la velocità di digitazione, l’uso del copia-incolla e altri pattern comportamentali, per individuare risposte statisticamente improbabili per un essere umano. Dall’altro indicano la necessità di fare maggiore affidamento su panel di ricerca basati su campioni probabilistici e su partecipanti con identità verificate.

La proposta più radicale consiste però nel ribaltare la logica della rilevazione delle frodi, progettando test che sfruttino i limiti del ragionamento umano piuttosto che le debolezze dell’intelligenza artificiale. “Le macchine sono molto brave a imitare il comportamento umano, ma molto meno a imitare gli errori che gli esseri umani fanno”, osserva Panizza. S

econdo gli autori, compiti come problemi di probabilità, stime rapide o test percettivi sotto pressione temporale potrebbero diventare strumenti utili, perché risposte “troppo perfette” potrebbero costituire esse stesse un segnale di allarme. Il commento conclude che nessuna soluzione singola sarà sufficiente, poiché i sistemi di intelligenza artificiale continuano ad adattarsi ai tentativi di rilevazione. Ricercatori, piattaforme e finanziatori sono quindi chiamati a ripensare con urgenza gli standard di integrità dei dati, combinando campioni di maggiore qualità, strumenti di controllo più sofisticati e maggiore trasparenza, per proteggere la credibilità della ricerca nelle scienze sociali.