SAFEFLOW: Ein prinzipielles Protokoll für vertrauenswürdige und transaktionale autonome Agentensysteme

SAFEFLOW: A Principled Protocol for Trustworthy and Transactional Autonomous Agent Systems

June 9, 2025

Autoren: Peiran Li, Xinkai Zou, Zhuohang Wu, Ruifeng Li, Shuo Xing, Hanwen Zheng, Zhikai Hu, Yuping Wang, Haoxi Li, Qin Yuan, Yingmo Zhang, Zhengzhong Tu

cs.AI

Zusammenfassung

Jüngste Fortschritte bei großen Sprachmodellen (LLMs) und visuell-sprachlichen Modellen (VLMs) haben leistungsstarke autonome Agenten ermöglicht, die zu komplexem Denken und multimodaler Werkzeugnutzung fähig sind. Trotz ihrer wachsenden Fähigkeiten bleiben heutige Agenten-Frameworks fragil, da ihnen prinzipielle Mechanismen für sicheren Informationsfluss, Zuverlässigkeit und Multi-Agenten-Koordination fehlen. In dieser Arbeit stellen wir SAFEFLOW vor, ein neues protokollbasiertes Framework zur Entwicklung vertrauenswürdiger LLM/VLM-basierter Agenten. SAFEFLOW erzwingt eine feingranulare Kontrolle des Informationsflusses (IFC), indem es die Herkunft, Integrität und Vertraulichkeit aller zwischen Agenten, Werkzeugen, Benutzern und Umgebungen ausgetauschten Daten präzise nachverfolgt. Durch die Einschränkung der LLM-Argumentation, um diese Sicherheitslabels zu respektieren, verhindert SAFEFLOW, dass nicht vertrauenswürdige oder feindliche Eingaben hochintegere Entscheidungen beeinträchtigen. Um Robustheit in gleichzeitigen Multi-Agenten-Szenarien zu gewährleisten, führt SAFEFLOW transaktionale Ausführung, Konfliktlösung und sichere Planung über gemeinsame Zustände ein, wodurch die globale Konsistenz über Agenten hinweg erhalten bleibt. Wir führen weiterhin Mechanismen ein, darunter Write-Ahead-Logging, Rollback und sichere Caches, die die Widerstandsfähigkeit gegen Laufzeitfehler und Richtlinienverletzungen weiter verbessern. Zur Validierung der Leistungen haben wir SAFEFLOWBENCH entwickelt, eine umfassende Benchmark-Suite, die darauf ausgelegt ist, die Zuverlässigkeit von Agenten unter feindlichen, verrauschten und gleichzeitigen Betriebsbedingungen zu bewerten. Umfangreiche Experimente zeigen, dass mit SAFEFLOW entwickelte Agenten auch in feindlichen Umgebungen beeindruckende Aufgabenleistung und Sicherheitsgarantien aufrechterhalten und dabei den Stand der Technik deutlich übertreffen. Zusammen legen SAFEFLOW und SAFEFLOWBENCH die Grundlage für prinzipielle, robuste und sichere Agenten-Ökosysteme und erweitern die Grenzen zuverlässiger Autonomie.

English

Recent advances in large language models (LLMs) and vision-language models (VLMs) have enabled powerful autonomous agents capable of complex reasoning and multi-modal tool use. Despite their growing capabilities, today's agent frameworks remain fragile, lacking principled mechanisms for secure information flow, reliability, and multi-agent coordination. In this work, we introduce SAFEFLOW, a new protocol-level framework for building trustworthy LLM/VLM-based agents. SAFEFLOW enforces fine-grained information flow control (IFC), precisely tracking provenance, integrity, and confidentiality of all the data exchanged between agents, tools, users, and environments. By constraining LLM reasoning to respect these security labels, SAFEFLOW prevents untrusted or adversarial inputs from contaminating high-integrity decisions. To ensure robustness in concurrent multi-agent settings, SAFEFLOW introduces transactional execution, conflict resolution, and secure scheduling over shared state, preserving global consistency across agents. We further introduce mechanisms, including write-ahead logging, rollback, and secure caches, that further enhance resilience against runtime errors and policy violations. To validate the performances, we built SAFEFLOWBENCH, a comprehensive benchmark suite designed to evaluate agent reliability under adversarial, noisy, and concurrent operational conditions. Extensive experiments demonstrate that agents built with SAFEFLOW maintain impressive task performance and security guarantees even in hostile environments, substantially outperforming state-of-the-art. Together, SAFEFLOW and SAFEFLOWBENCH lay the groundwork for principled, robust, and secure agent ecosystems, advancing the frontier of reliable autonomy.