行動がタスクから逸れるとき：コンピュータ利用エージェントにおける不整合な行動の検出と修正

When Actions Go Off-Task: Detecting and Correcting Misaligned Actions in Computer-Use Agents

February 9, 2026

著者: Yuting Ning, Jaylen Jones, Zhehao Zhang, Chentao Ye, Weitong Ruan, Junyi Li, Rahul Gupta, Huan Sun

cs.AI

要旨

コンピュータ利用エージェント（CUA）は過去1年間で目覚ましい進歩を遂げたが、ユーザーの本来の意図から逸脱した不整合なアクションを頻繁に生成する問題が依然として存在する。このような不整合なアクションは、外部からの攻撃（例：間接的プロンプトインジェクション）または内部的な制限（例：誤った推論）に起因する可能性がある。これらはCUAを安全上のリスクに晒すだけでなく、タスクの効率性と信頼性を低下させる。本研究は、CUAにおける不整合アクション検出の定義と研究に初めて取り組み、外部要因によって誘発されるものと内部要因によって生じるものの両方を包括的に扱う。さらに、実世界のCUA展開において一般的な3つのカテゴリを特定し、人間によるアクションレベルの整合性ラベルが付与された現実的な軌跡のベンチマークMisActBenchを構築した。加えて、実行前の不整合アクションを検出し、構造化されたフィードバックを通じて反復的に修正する実用的で汎用的なガードレールDeActionを提案する。DeActionは、適度なレイテンシオーバーヘッドでオフラインおよびオンライン評価の両方において既存のベースラインを全て上回る性能を示した：（1）MisActBenchではF1スコアでベースラインを15%以上（絶対値）上回り、（2）オンライン評価では、敵対的環境下での攻撃成功率を90%以上低減すると同時に、正常環境下ではタスク成功率を維持あるいは向上させた。

English

Computer-use agents (CUAs) have made tremendous progress in the past year, yet they still frequently produce misaligned actions that deviate from the user's original intent. Such misaligned actions may arise from external attacks (e.g., indirect prompt injection) or from internal limitations (e.g., erroneous reasoning). They not only expose CUAs to safety risks, but also degrade task efficiency and reliability. This work makes the first effort to define and study misaligned action detection in CUAs, with comprehensive coverage of both externally induced and internally arising misaligned actions. We further identify three common categories in real-world CUA deployment and construct MisActBench, a benchmark of realistic trajectories with human-annotated, action-level alignment labels. Moreover, we propose DeAction, a practical and universal guardrail that detects misaligned actions before execution and iteratively corrects them through structured feedback. DeAction outperforms all existing baselines across offline and online evaluations with moderate latency overhead: (1) On MisActBench, it outperforms baselines by over 15% absolute in F1 score; (2) In online evaluation, it reduces attack success rate by over 90% under adversarial settings while preserving or even improving task success rate in benign environments.