SAFEFLOW : Un protocole fondé sur des principes pour des systèmes d'agents autonomes fiables et transactionnels

SAFEFLOW: A Principled Protocol for Trustworthy and Transactional Autonomous Agent Systems

June 9, 2025

Auteurs: Peiran Li, Xinkai Zou, Zhuohang Wu, Ruifeng Li, Shuo Xing, Hanwen Zheng, Zhikai Hu, Yuping Wang, Haoxi Li, Qin Yuan, Yingmo Zhang, Zhengzhong Tu

cs.AI

Résumé

Les récentes avancées dans les modèles de langage à grande échelle (LLMs) et les modèles vision-langage (VLMs) ont permis le développement d'agents autonomes puissants, capables de raisonnements complexes et d'utilisation d'outils multimodaux. Malgré leurs capacités croissantes, les cadres d'agents actuels restent fragiles, manquant de mécanismes principiés pour le flux d'information sécurisé, la fiabilité et la coordination multi-agents. Dans ce travail, nous introduisons SAFEFLOW, un nouveau cadre au niveau protocole pour la construction d'agents fiables basés sur LLM/VLM. SAFEFLOW impose un contrôle fin du flux d'information (IFC), en suivant précisément la provenance, l'intégrité et la confidentialité de toutes les données échangées entre les agents, les outils, les utilisateurs et les environnements. En contraignant le raisonnement des LLM à respecter ces étiquettes de sécurité, SAFEFLOW empêche les entrées non fiables ou adverses de contaminer les décisions à haute intégrité. Pour assurer la robustesse dans des environnements multi-agents concurrents, SAFEFLOW introduit l'exécution transactionnelle, la résolution de conflits et l'ordonnancement sécurisé sur l'état partagé, préservant ainsi la cohérence globale entre les agents. Nous introduisons également des mécanismes, incluant la journalisation anticipée, le retour en arrière et les caches sécurisés, qui renforcent la résilience face aux erreurs d'exécution et aux violations de politiques. Pour valider les performances, nous avons construit SAFEFLOWBENCH, une suite de benchmarks complète conçue pour évaluer la fiabilité des agents dans des conditions opérationnelles adverses, bruyantes et concurrentes. Des expériences approfondies démontrent que les agents construits avec SAFEFLOW maintiennent des performances impressionnantes et des garanties de sécurité même dans des environnements hostiles, surpassant largement l'état de l'art. Ensemble, SAFEFLOW et SAFEFLOWBENCH posent les bases d'écosystèmes d'agents principiés, robustes et sécurisés, faisant progresser la frontière de l'autonomie fiable.

English

Recent advances in large language models (LLMs) and vision-language models (VLMs) have enabled powerful autonomous agents capable of complex reasoning and multi-modal tool use. Despite their growing capabilities, today's agent frameworks remain fragile, lacking principled mechanisms for secure information flow, reliability, and multi-agent coordination. In this work, we introduce SAFEFLOW, a new protocol-level framework for building trustworthy LLM/VLM-based agents. SAFEFLOW enforces fine-grained information flow control (IFC), precisely tracking provenance, integrity, and confidentiality of all the data exchanged between agents, tools, users, and environments. By constraining LLM reasoning to respect these security labels, SAFEFLOW prevents untrusted or adversarial inputs from contaminating high-integrity decisions. To ensure robustness in concurrent multi-agent settings, SAFEFLOW introduces transactional execution, conflict resolution, and secure scheduling over shared state, preserving global consistency across agents. We further introduce mechanisms, including write-ahead logging, rollback, and secure caches, that further enhance resilience against runtime errors and policy violations. To validate the performances, we built SAFEFLOWBENCH, a comprehensive benchmark suite designed to evaluate agent reliability under adversarial, noisy, and concurrent operational conditions. Extensive experiments demonstrate that agents built with SAFEFLOW maintain impressive task performance and security guarantees even in hostile environments, substantially outperforming state-of-the-art. Together, SAFEFLOW and SAFEFLOWBENCH lay the groundwork for principled, robust, and secure agent ecosystems, advancing the frontier of reliable autonomy.