Nvidia surveille les agents IA jusqu'aux puces avec sa nouvelle plateforme

Les agents IA ne posent pas seulement un problème de fiabilité de leurs réponses. À mesure qu’ils obtiennent des accès à des fichiers, des bases de données, des API ou des outils capables d’exécuter du code, une autre question devient centrale : que se passe-t-il lorsqu’un agent sort du cadre qui lui a été fixé ? Nvidia apporte une réponse très matérielle à ce problème avec sa nouvelle Open Agent Safety Platform, annoncée le 28 septembre. L’idée : ne plus demander à l’agent de respecter les règles, mais placer des contrôles en dehors de lui pour l’empêcher de les contourner.

Cette initiative de Nvidia, spécialisée dans le développement d'IA, vise à adresser les risques potentiels liés à l'autonomie croissante des intelligences artificielles. Alors que les agents IA de plateformes comme Anthropic et OpenAI sont de plus en plus sophistiqués et capables d'interagir avec des systèmes externes, la supervision de leurs actions devient un enjeu majeur pour leur déploiement sécurisé.

La stratégie de Nvidia se distingue par son approche matérielle. Plutôt que de s'appuyer uniquement sur des mécanismes de contrôle intégrés au logiciel de l'agent, l'Open Agent Safety Platform introduit une couche de sécurité externe. Cette conception vise à créer une barrière physique ou architecturale pour contenir les actions des agents, les empêchant de dévier des protocoles établis même en cas de défaillance ou de contournement des protections logicielles internes.