OS-Sentinel: Повышение безопасности мобильных GUI-агентов за счет гибридной валидации в реалистичных рабочих процессах

OS-Sentinel: Towards Safety-Enhanced Mobile GUI Agents via Hybrid Validation in Realistic Workflows

October 28, 2025

Авторы: Qiushi Sun, Mukai Li, Zhoumianze Liu, Zhihui Xie, Fangzhi Xu, Zhangyue Yin, Kanzhi Cheng, Zehao Li, Zichen Ding, Qi Liu, Zhiyong Wu, Zhuosheng Zhang, Ben Kao, Lingpeng Kong

cs.AI

Аннотация

Агенты, использующие компьютер и основанные на визуально-языковых моделях (VLM), продемонстрировали способности, подобные человеческим, при работе в цифровых средах, таких как мобильные платформы. Хотя эти агенты открывают большие перспективы для развития цифровой автоматизации, их потенциал к небезопасным операциям, таким как компрометация системы и утечка конфиденциальности, вызывает серьезную озабоченность. Выявление этих угроз безопасности в обширном и сложном операционном пространстве мобильных сред представляет собой значительную проблему, которая остается критически недостаточно изученной. Для создания основы исследований безопасности мобильных агентов мы представляем MobileRisk-Live — динамическую песочницу, сопровождаемую эталонным тестом для обнаружения угроз безопасности, состоящим из реалистичных траекторий с детальной разметкой. На основе этого мы предлагаем OS-Sentinel — новую гибридную систему обнаружения угроз, которая синергетически сочетает Формальный верификатор для выявления явных нарушений на системном уровне и Контекстуальный арбитр на основе VLM для оценки контекстных рисков и действий агента. Эксперименты показывают, что OS-Sentinel демонстрирует улучшение на 10–30% по сравнению с существующими подходами по множеству метрик. Дальнейший анализ дает ключевые идеи, способствующие разработке более безопасных и надежных автономных мобильных агентов.

English

Computer-using agents powered by Vision-Language Models (VLMs) have demonstrated human-like capabilities in operating digital environments like mobile platforms. While these agents hold great promise for advancing digital automation, their potential for unsafe operations, such as system compromise and privacy leakage, is raising significant concerns. Detecting these safety concerns across the vast and complex operational space of mobile environments presents a formidable challenge that remains critically underexplored. To establish a foundation for mobile agent safety research, we introduce MobileRisk-Live, a dynamic sandbox environment accompanied by a safety detection benchmark comprising realistic trajectories with fine-grained annotations. Built upon this, we propose OS-Sentinel, a novel hybrid safety detection framework that synergistically combines a Formal Verifier for detecting explicit system-level violations with a VLM-based Contextual Judge for assessing contextual risks and agent actions. Experiments show that OS-Sentinel achieves 10%-30% improvements over existing approaches across multiple metrics. Further analysis provides critical insights that foster the development of safer and more reliable autonomous mobile agents.