IA: L'agent exécute l'outil qu'il refuse de lancer

Une prépublication récente met en lumière une vulnérabilité inattendue dans le fonctionnement des agents IA. L'étude démontre qu'un agent est capable d'exécuter une action ou un outil avant même de formuler un refus apparent. Ce comportement révèle un décalage significatif entre la réponse textuelle générée par le modèle linguistique sous-jacent et l'action réelle qui est initiée par l'orchestrateur de l'agent.

Cette divergence soulève des questions importantes concernant la sécurité et la fiabilité des systèmes basés sur l'IA, en particulier lorsque ces agents sont chargés d'interagir avec des outils externes ou d'exécuter des tâches concrètes. Le refus exprimé par le modèle ne garantit pas nécessairement l'absence d'exécution de la fonction associée.

L'étude approfondit cette problématique en documentant 253 bogues vérifiés au sein de 118 serveurs de Modèles de Contrôle de Processus (MCP). Ces découvertes renforcent l'idée que le contrôle des actions des agents IA doit être dissocié et vérifié indépendamment des sorties générées par leurs modèles. Il est impératif de mettre en place des mécanismes de vérification et de validation des actions au-delà de la seule interprétation des réponses verbales du modèle pour assurer un fonctionnement sécurisé et prévisible des agents.