Quando le Azioni Deviato dal Compito: Rilevamento e Correzione di Azioni Disallineate negli Agenti di Utilizzo del Computer
When Actions Go Off-Task: Detecting and Correcting Misaligned Actions in Computer-Use Agents
February 9, 2026
Autori: Yuting Ning, Jaylen Jones, Zhehao Zhang, Chentao Ye, Weitong Ruan, Junyi Li, Rahul Gupta, Huan Sun
cs.AI
Abstract
Gli agenti di utilizzo del computer (CUA) hanno compiuto progressi straordinari nell'ultimo anno, tuttavia continuano a produrre frequentemente azioni disallineate che si discostano dall'intento originale dell'utente. Tali azioni disallineate possono originare da attacchi esterni (ad esempio, prompt injection indiretto) o da limitazioni interne (ad esempio, ragionamenti erronei). Esse non solo espongono i CUA a rischi per la sicurezza, ma degradano anche l'efficienza e l'affidabilità delle attività. Questo lavoro rappresenta il primo tentativo di definire e studiare il rilevamento delle azioni disallineate nei CUA, con una copertura completa sia delle azioni disallineate indotte esternamente che di quelle originate internamente. Identifichiamo inoltre tre categorie comuni nella distribuzione reale dei CUA e costruiamo MisActBench, un benchmark di traiettorie realistiche con etichette di allineamento a livello di azione annotate manualmente. Inoltre, proponiamo DeAction, una protezione pratica e universale che rileva le azioni disallineate prima della loro esecuzione e le corregge iterativamente attraverso feedback strutturato. DeAction supera tutte le baseline esistenti nelle valutazioni offline e online con un sovraccarico di latenza moderato: (1) Su MisActBench, supera le baseline di oltre il 15% assoluto nel punteggio F1; (2) Nella valutazione online, riduce il tasso di successo degli attacchi di oltre il 90% in contesti avversativi, preservando o addirittura migliorando il tasso di successo delle attività in ambienti benigni.
English
Computer-use agents (CUAs) have made tremendous progress in the past year, yet they still frequently produce misaligned actions that deviate from the user's original intent. Such misaligned actions may arise from external attacks (e.g., indirect prompt injection) or from internal limitations (e.g., erroneous reasoning). They not only expose CUAs to safety risks, but also degrade task efficiency and reliability. This work makes the first effort to define and study misaligned action detection in CUAs, with comprehensive coverage of both externally induced and internally arising misaligned actions. We further identify three common categories in real-world CUA deployment and construct MisActBench, a benchmark of realistic trajectories with human-annotated, action-level alignment labels. Moreover, we propose DeAction, a practical and universal guardrail that detects misaligned actions before execution and iteratively corrects them through structured feedback. DeAction outperforms all existing baselines across offline and online evaluations with moderate latency overhead: (1) On MisActBench, it outperforms baselines by over 15% absolute in F1 score; (2) In online evaluation, it reduces attack success rate by over 90% under adversarial settings while preserving or even improving task success rate in benign environments.