Wanneer acties van het spoor raken: Het opsporen en corrigeren van niet-afgestemde acties bij computergebruik-agenten
When Actions Go Off-Task: Detecting and Correcting Misaligned Actions in Computer-Use Agents
February 9, 2026
Auteurs: Yuting Ning, Jaylen Jones, Zhehao Zhang, Chentao Ye, Weitong Ruan, Junyi Li, Rahul Gupta, Huan Sun
cs.AI
Samenvatting
Computer-use agents (CUAs) hebben het afgelopen jaar enorme vooruitgang geboekt, maar produceren nog steeds regelmatig niet-uitgelijnde acties die afwijken van de oorspronkelijke intentie van de gebruiker. Dergelijke niet-uitgelijnde acties kunnen voortkomen uit externe aanvallen (bijv. indirecte prompt-injectie) of uit interne beperkingen (bijv. foutief redeneren). Ze brengen CUAs niet alleen in veiligheidsrisico's, maar ondermijnen ook de taakefficiëntie en betrouwbaarheid. Dit werk doet een eerste poging om niet-uitgelijnde actiedetectie in CUAs te definiëren en te bestuderen, met een uitgebreide dekking van zowel extern veroorzaakte als intern ontstane niet-uitgelijnde acties. We identificeren verder drie veelvoorkomende categorieën in real-world CUA-implementaties en construeren MisActBench, een benchmark van realistische trajecten met door mensen geannoteerde, actieniveau-uitlijningslabels. Bovendien stellen we DeAction voor, een praktische en universele beveiliging die niet-uitgelijnde acties detecteert vóór uitvoering en deze iteratief corrigeert via gestructureerde feedback. DeAction overtreft alle bestaande baseline-methoden in offline- en online-evaluaties met een gematigde latentie-overhead: (1) Op MisActBench overtreft het de baseline-methoden met meer dan 15% absoluut in F1-score; (2) In online-evaluatie verlaagt het de aanvalssuccesratio met meer dan 90% onder adversariële omstandigheden, terwijl het de taaksuccesratio in goedaardige omgevingen behoudt of zelfs verbetert.
English
Computer-use agents (CUAs) have made tremendous progress in the past year, yet they still frequently produce misaligned actions that deviate from the user's original intent. Such misaligned actions may arise from external attacks (e.g., indirect prompt injection) or from internal limitations (e.g., erroneous reasoning). They not only expose CUAs to safety risks, but also degrade task efficiency and reliability. This work makes the first effort to define and study misaligned action detection in CUAs, with comprehensive coverage of both externally induced and internally arising misaligned actions. We further identify three common categories in real-world CUA deployment and construct MisActBench, a benchmark of realistic trajectories with human-annotated, action-level alignment labels. Moreover, we propose DeAction, a practical and universal guardrail that detects misaligned actions before execution and iteratively corrects them through structured feedback. DeAction outperforms all existing baselines across offline and online evaluations with moderate latency overhead: (1) On MisActBench, it outperforms baselines by over 15% absolute in F1 score; (2) In online evaluation, it reduces attack success rate by over 90% under adversarial settings while preserving or even improving task success rate in benign environments.