Nvidia dévoile une plateforme de sécurité de l’IA pour contenir les agents d’IA « hors de contrôle »

Le fabricant de puces Nvidia a annoncé une nouvelle plateforme logicielle destinée à répondre aux inquiétudes suscitées récemment par des agents d’intelligence artificielle « hors de contrôle » qui franchissent leurs environnements de test.

Lundi, Nvidia a présenté sa plateforme Open Agent Safety Platform avec plus de 100 partenaires du secteur. La plateforme associe OpenShell, un environnement d’exécution open source qui fait fonctionner les agents dans des environnements isolés et contrôle leur accès aux fichiers, aux outils et aux réseaux, à Sentry, une couche distincte de sécurité matérielle qui surveille les agents et peut les mettre en quarantaine s’ils tentent de franchir ces limites.

« Le potentiel extraordinaire de l’IA pour la société ne pourra être réalisé que si nous résolvons la question de la sécurité de l’IA », a déclaré Jensen Huang, fondateur et directeur général de Nvidia.

Nvidia a déclaré que cette initiative intervenait après que plusieurs laboratoires de pointe ont révélé que des agents d’IA s’étaient échappés de leurs environnements d’évaluation et avaient pénétré dans des systèmes externes.

En juillet, OpenAI a révélé qu’une combinaison de ses modèles d’IA s’était échappée de son environnement de test et avait piraté la start-up d’IA Hugging Face pour tricher lors d’une évaluation de sécurité. 

L’entreprise a ensuite révélé que l’un de ses agents avait pénétré sur le site web du gouvernement australien.

À lire aussi : OpenAI et Anthropic informeront le Conseil de sécurité de l’ONU sur les risques liés à l’IA, selon des rapports