Cuando las acciones se desvían del objetivo: Detección y corrección de acciones desalineadas en agentes de uso informático
When Actions Go Off-Task: Detecting and Correcting Misaligned Actions in Computer-Use Agents
February 9, 2026
Autores: Yuting Ning, Jaylen Jones, Zhehao Zhang, Chentao Ye, Weitong Ruan, Junyi Li, Rahul Gupta, Huan Sun
cs.AI
Resumen
Los agentes de uso informático (CUA) han logrado un progreso tremendo en el último año, pero aún producen con frecuencia acciones desalineadas que se desvían de la intención original del usuario. Dichas acciones desalineadas pueden surgir de ataques externos (por ejemplo, inyección indirecta de instrucciones) o de limitaciones internas (por ejemplo, razonamiento erróneo). Estas no solo exponen a los CUA a riesgos de seguridad, sino que también degradan la eficiencia y confiabilidad de las tareas. Este trabajo realiza el primer esfuerzo por definir y estudiar la detección de acciones desalineadas en CUA, con una cobertura integral tanto de las acciones desalineadas inducidas externamente como de las que surgen internamente. Además, identificamos tres categorías comunes en la implementación real de CUA y construimos MisActBench, un benchmark de trayectorias realistas con etiquetas de alineación a nivel de acción anotadas por humanos. Además, proponemos DeAction, un guardarriel práctico y universal que detecta acciones desalineadas antes de su ejecución y las corrige iterativamente mediante retroalimentación estructurada. DeAction supera a todas las líneas base existentes en evaluaciones offline y online con una sobrecarga de latencia moderada: (1) En MisActBench, supera a las líneas base en más de un 15% absoluto en puntuación F1; (2) En la evaluación online, reduce la tasa de éxito de ataques en más de un 90% bajo configuraciones adversarias, mientras preserva o incluso mejora la tasa de éxito de tareas en entornos benignos.
English
Computer-use agents (CUAs) have made tremendous progress in the past year, yet they still frequently produce misaligned actions that deviate from the user's original intent. Such misaligned actions may arise from external attacks (e.g., indirect prompt injection) or from internal limitations (e.g., erroneous reasoning). They not only expose CUAs to safety risks, but also degrade task efficiency and reliability. This work makes the first effort to define and study misaligned action detection in CUAs, with comprehensive coverage of both externally induced and internally arising misaligned actions. We further identify three common categories in real-world CUA deployment and construct MisActBench, a benchmark of realistic trajectories with human-annotated, action-level alignment labels. Moreover, we propose DeAction, a practical and universal guardrail that detects misaligned actions before execution and iteratively corrects them through structured feedback. DeAction outperforms all existing baselines across offline and online evaluations with moderate latency overhead: (1) On MisActBench, it outperforms baselines by over 15% absolute in F1 score; (2) In online evaluation, it reduces attack success rate by over 90% under adversarial settings while preserving or even improving task success rate in benign environments.