AGI - OpenAI ha creato un team dedicato all'identificazione e alla prevenzione dei rischi associati all'intelligenza artificiale (AI), che potrebbe portare alla sospensione del lancio di un modello di AI se ritenuto troppo pericoloso.
Questo annuncio arriva solo un mese dopo il licenziamento del capo del creatore dell'interfaccia conversazionale ChatGPT, Sam Altman, che è stato infine reintegrato dopo pochi giorni. Secondo diversi media statunitensi, i membri del consiglio di amministrazione lo hanno criticato per aver favorito lo sviluppo accelerato di OpenAI, anche se ciò significava eludere alcune domande sui possibili eccessi dell'IA.
Il team di preparazione sarà guidato dall'informatico Aleksander Madry, che ha preso un congedo dal Massachusetts Institute of Technology (MIT), dove è professore, secondo un messaggio pubblicato dall'accademico su X (ex Twitter) lunedì. Il nuovo gruppo si concentrerà sui cosiddetti "modelli di frontiera", attualmente in fase di sviluppo e con capacità superiori ai più avanzati software di intelligenza artificiale
Il team valuterà ogni nuovo modello e gli assegnerà un livello di rischio in quattro categorie principali. La prima riguarda la sicurezza informatica e la capacità del modello di effettuare attacchi informatici su larga scala.
La seconda misurerà la propensione del software a contribuire alla creazione di una miscela chimica, di un organismo (come un virus) o di un'arma nucleare, tutti elementi che potrebbero essere dannosi per l'uomo. La terza categoria riguarda la capacità persuasiva del modello, ossia la misura in cui può influenzare il comportamento umano.
L'ultima categoria di rischio riguarda la potenziale autonomia del modello, ossia determinare in particolare se può esfiltrare, il che equivale a sfuggire al controllo dei programmatori che lo hanno creato. Una volta individuati i rischi, questi saranno sottoposti al Safety Advisory Group (SAG), un nuovo organismo che formulerà raccomandazioni a Sam Altman o a una persona da lui nominata.
Il responsabile di OpenAI deciderà quindi le modifiche da apportare a un modello per ridurre i rischi associati. Il Consiglio di amministrazione sarà tenuto informato e potrà annullare una decisione della direzione. Si tratta di una promessa ai direttori, dopo la saga dell'allontanamento temporaneo di Sam Altman, che ha portato a critiche sulla legittimità del consiglio.