Wenn Aktionen vom Kurs abweichen: Erkennung und Korrektur fehlausgerichteter Aktionen bei Computeranwendungs-Agenten

When Actions Go Off-Task: Detecting and Correcting Misaligned Actions in Computer-Use Agents

February 9, 2026

papers.authors: Yuting Ning, Jaylen Jones, Zhehao Zhang, Chentao Ye, Weitong Ruan, Junyi Li, Rahul Gupta, Huan Sun

cs.AI

papers.abstract

Computernutzungsagenten (CUAs) haben im vergangenen Jahr enorme Fortschritte gemacht, erzeugen jedoch nach wie vor häufig fehlausgerichtete Aktionen, die von der ursprünglichen Benutzerabsicht abweichen. Solche fehlausgerichteten Aktionen können durch externe Angriffe (z.B. indirekte Prompt-Injection) oder durch interne Limitierungen (z.B. fehlerhafte Schlussfolgerungen) entstehen. Sie setzen CUAs nicht nur Sicherheitsrisiken aus, sondern beeinträchtigen auch die Aufgabeneffizienz und Zuverlässigkeit. Diese Arbeit unternimmt erstmals den Versuch, die Erkennung fehlausgerichteter Aktionen in CUAs zu definieren und zu untersuchen, mit umfassender Abdeckung sowohl extern verursachter als auch intern entstehender fehlausgerichteter Aktionen. Wir identifizieren weiterhin drei häufige Kategorien im realen CUA-Einsatz und konstruieren MisActBench, einen Benchmark mit realistischen Trajektorien und humanannotierten Alignment-Labels auf Aktionsebene. Darüber hinaus schlagen wir DeAction vor, eine praktische und universelle Guardrail-Lösung, die fehlausgerichtete Aktionen vor der Ausführung erkennt und sie durch strukturiertes Feedback iterativ korrigiert. DeAction übertrifft alle bestehenden Baseline-Methoden in Offline- und Online-Evaluationen bei moderater Latenzlast: (1) Auf MisActBench übertrifft es die Baselines um über 15 Prozentpunkte absolut im F1-Score; (2) In der Online-Evaluation reduziert es die Angriffserfolgsrate unter adversen Bedingungen um über 90 %, während es die Aufgaben-Erfolgsrate in benignen Umgebungen erhält oder sogar verbessert.

English

Computer-use agents (CUAs) have made tremendous progress in the past year, yet they still frequently produce misaligned actions that deviate from the user's original intent. Such misaligned actions may arise from external attacks (e.g., indirect prompt injection) or from internal limitations (e.g., erroneous reasoning). They not only expose CUAs to safety risks, but also degrade task efficiency and reliability. This work makes the first effort to define and study misaligned action detection in CUAs, with comprehensive coverage of both externally induced and internally arising misaligned actions. We further identify three common categories in real-world CUA deployment and construct MisActBench, a benchmark of realistic trajectories with human-annotated, action-level alignment labels. Moreover, we propose DeAction, a practical and universal guardrail that detects misaligned actions before execution and iteratively corrects them through structured feedback. DeAction outperforms all existing baselines across offline and online evaluations with moderate latency overhead: (1) On MisActBench, it outperforms baselines by over 15% absolute in F1 score; (2) In online evaluation, it reduces attack success rate by over 90% under adversarial settings while preserving or even improving task success rate in benign environments.