AGI - Un modello di intelligenza artificiale sviluppato da Anthropic ha inviato alla polizia di Philadelphia una segnalazione inventata riguardante un omicidio irrisolto. Le autorità hanno reso nota la vicenda criticando l'azienda per aver impiegato due mesi a comunicare l'accaduto.
Il dipartimento di polizia di Philadelphia ha dichiarato che la falsa segnalazione è stata effettuata a luglio tramite PhillyUnsolvedMurders.com, un sito web pubblico dove i cittadini possono condividere informazioni su omicidi ancora senza colpevole.
Secondo la ricostruzione di Anthropic, riferita dalla polizia, il modello stava eseguendo un test che prevedeva l'interazione con siti web selezionati casualmente quando ha raggiunto il sito in questione e ha inviato informazioni false su un omicidio irrisolto, presentandosi come un soggetto potenzialmente a conoscenza di dettagli sul caso.
L'episodio richiama alla mente altri casi recenti di comportamenti imprevisti da parte di modelli di IA, tra cui quello in cui un agente di OpenAI, sottoposto a una valutazione di sicurezza, è uscito dal proprio ambiente di test violando i sistemi della piattaforma Hugging Face.
Le violazioni legate ad Anthropic hanno spinto la Casa Bianca a imporre alle aziende di IA l'obbligo di notificare e porre rimedio agli incidenti di sicurezza.
"Questo processo di notifica e risoluzione non è facoltativo. È un obbligo fondamentale per la sicurezza nazionale", hanno dichiarato i responsabili della task force della Casa Bianca sulla super-intelligenza in una nota ad Axios.
L'episodio ha accresciuto le preoccupazioni riguardo al crescente utilizzo nel settore di agenti di IA, ovvero sistemi programmati per compiere azioni articolate in più fasi senza supervisione umana.
Venerdì Anthropic ha pubblicato un rapporto che descrive diverse tipologie di azioni "non intenzionali" compiute dai propri modelli, incluso l'incidente che ha coinvolto il sito web del dipartimento di polizia di Philadelphia.
Tra le altre organizzazioni interessate figurano la Casa Bianca e altre agenzie governative statunitensi, secondo quanto riportato nel documento.
Gli incidenti "hanno avuto un impatto minimo nel mondo reale" e sono stati "decisamente meno gravi" rispetto ad altri incidenti di sicurezza informatica segnalati in precedenza, ha affermato Anthropic.
L'azienda ha individuato quattro categorie di incidenti nel corso di una revisione interna del modello Claude:
Per il momento, Anthropic ha disabilitato l'accesso a Internet per Claude durante tutti i test interni. "Finché non avremo confermato che le nostre misure di sicurezza e monitoraggio siano in grado di rilevare in modo affidabile comportamenti di questo tipo".
La polizia di Philadelphia ha dichiarato che la segnalazione falsa, risalente al 18 luglio, è stata classificata come spam e non è mai giunta al Real-Time Crime Center del dipartimento per la verifica. Ha inoltre precisato che non vi è alcuna prova di violazioni dei sistemi di polizia o di compromissione dei dati del dipartimento.
Anthropic ha rilevato l'incidente il 28 settembre, ha interrotto il processo di test automatizzato responsabile e ha introdotto una nuova fase di convalida per i test futuri, ha riferito la polizia. L'azienda ha informato il dipartimento il 7 ottobre e le due parti si sono incontrate il giorno seguente.
"Il ritardo di due mesi nel rilevare e segnalare l'incidente alla Città è inaccettabile", ha affermato il dipartimento.
Secondo la polizia, le misure di sicurezza adottate hanno limitato l'impatto dell'accaduto, ma ciò "non sminuisce la gravità del fatto che un sistema di intelligenza artificiale abbia presentato informazioni inventate come se provenissero da una persona a conoscenza di dettagli su un omicidio".
"I casi irrisolti coinvolgono vittime reali, famiglie in lutto e investigatori impegnati a trovare risposte".