Quand les actions s'écartent de l'objectif : Détection et correction des actions non alignées chez les agents informatiques

When Actions Go Off-Task: Detecting and Correcting Misaligned Actions in Computer-Use Agents

February 9, 2026

papers.authors: Yuting Ning, Jaylen Jones, Zhehao Zhang, Chentao Ye, Weitong Ruan, Junyi Li, Rahul Gupta, Huan Sun

cs.AI

papers.abstract

Les agents d'utilisation informatique (CUA) ont réalisé des progrès considérables au cours de l'année écoulée, mais ils produisent encore fréquemment des actions non alignées qui s'écartent de l'intention initiale de l'utilisateur. Ces actions non alignées peuvent provenir d'attaques externes (par exemple, l'injection indirecte d'invites) ou de limitations internes (par exemple, un raisonnement erroné). Non seulement elles exposent les CUA à des risques de sécurité, mais elles dégradent également l'efficacité et la fiabilité des tâches. Ce travail constitue la première tentative de définition et d'étude de la détection des actions non alignées dans les CUA, avec une couverture complète des actions non alignées induites de l'extérieur et provenant de l'intérieur. Nous identifions en outre trois catégories courantes dans le déploiement réel des CUA et construisons MisActBench, un benchmark de trajectoires réalistes avec des étiquettes d'alignement au niveau de l'action annotées par des humains. De plus, nous proposons DeAction, un garde-fou pratique et universel qui détecte les actions non alignées avant leur exécution et les corrige itérativement par un retour structuré. DeAction surpasse toutes les bases de référence existantes lors d'évaluations hors ligne et en ligne avec une surcharge de latence modérée : (1) Sur MisActBench, il surpasse les bases de référence de plus de 15 % en score F1 absolu ; (2) Lors de l'évaluation en ligne, il réduit le taux de réussite des attaques de plus de 90 % dans des contextes adverses tout en préservant, voire en améliorant, le taux de réussite des tâches dans des environnements bénins.

English

Computer-use agents (CUAs) have made tremendous progress in the past year, yet they still frequently produce misaligned actions that deviate from the user's original intent. Such misaligned actions may arise from external attacks (e.g., indirect prompt injection) or from internal limitations (e.g., erroneous reasoning). They not only expose CUAs to safety risks, but also degrade task efficiency and reliability. This work makes the first effort to define and study misaligned action detection in CUAs, with comprehensive coverage of both externally induced and internally arising misaligned actions. We further identify three common categories in real-world CUA deployment and construct MisActBench, a benchmark of realistic trajectories with human-annotated, action-level alignment labels. Moreover, we propose DeAction, a practical and universal guardrail that detects misaligned actions before execution and iteratively corrects them through structured feedback. DeAction outperforms all existing baselines across offline and online evaluations with moderate latency overhead: (1) On MisActBench, it outperforms baselines by over 15% absolute in F1 score; (2) In online evaluation, it reduces attack success rate by over 90% under adversarial settings while preserving or even improving task success rate in benign environments.