OS-Sentinel: Hacia Agentes GUI Móviles con Seguridad Mejorada mediante Validación Híbrida en Flujos de Trabajo Realistas
OS-Sentinel: Towards Safety-Enhanced Mobile GUI Agents via Hybrid Validation in Realistic Workflows
October 28, 2025
Autores: Qiushi Sun, Mukai Li, Zhoumianze Liu, Zhihui Xie, Fangzhi Xu, Zhangyue Yin, Kanzhi Cheng, Zehao Li, Zichen Ding, Qi Liu, Zhiyong Wu, Zhuosheng Zhang, Ben Kao, Lingpeng Kong
cs.AI
Resumen
Los agentes informáticos impulsados por Modelos de Visión y Lenguaje (VLM) han demostrado capacidades similares a las humanas para operar en entornos digitales como las plataformas móviles. Si bien estos agentes son muy prometedores para impulsar la automatización digital, su potencial para realizar operaciones inseguras, como el compromiso del sistema y la filtración de privacidad, está generando preocupaciones significativas. Detectar estos riesgos de seguridad en el vasto y complejo espacio operativo de los entornos móviles presenta un desafío formidable que sigue estando críticamente poco explorado. Para sentar las bases de la investigación sobre seguridad de agentes móviles, presentamos MobileRisk-Live, un entorno de sandbox dinámico acompañado de un benchmark de detección de seguridad que comprende trayectorias realistas con anotaciones detalladas. Sobre esta base, proponemos OS-Sentinel, un novedoso marco híbrido de detección de seguridad que combina de forma sinérgica un Verificador Formal para detectar violaciones explícitas a nivel del sistema con un Juez Contextual basado en VLM para evaluar riesgos contextuales y acciones del agente. Los experimentos muestran que OS-Sentinel logra mejoras del 10% al 30% sobre los enfoques existentes en múltiples métricas. Un análisis adicional proporciona información crítica que fomenta el desarrollo de agentes móviles autónomos más seguros y confiables.
English
Computer-using agents powered by Vision-Language Models (VLMs) have
demonstrated human-like capabilities in operating digital environments like
mobile platforms. While these agents hold great promise for advancing digital
automation, their potential for unsafe operations, such as system compromise
and privacy leakage, is raising significant concerns. Detecting these safety
concerns across the vast and complex operational space of mobile environments
presents a formidable challenge that remains critically underexplored. To
establish a foundation for mobile agent safety research, we introduce
MobileRisk-Live, a dynamic sandbox environment accompanied by a safety
detection benchmark comprising realistic trajectories with fine-grained
annotations. Built upon this, we propose OS-Sentinel, a novel hybrid safety
detection framework that synergistically combines a Formal Verifier for
detecting explicit system-level violations with a VLM-based Contextual Judge
for assessing contextual risks and agent actions. Experiments show that
OS-Sentinel achieves 10%-30% improvements over existing approaches across
multiple metrics. Further analysis provides critical insights that foster the
development of safer and more reliable autonomous mobile agents.