SAFEFLOW: Un protocolo fundamentado para sistemas de agentes autónomos confiables y transaccionales

SAFEFLOW: A Principled Protocol for Trustworthy and Transactional Autonomous Agent Systems

June 9, 2025

Autores: Peiran Li, Xinkai Zou, Zhuohang Wu, Ruifeng Li, Shuo Xing, Hanwen Zheng, Zhikai Hu, Yuping Wang, Haoxi Li, Qin Yuan, Yingmo Zhang, Zhengzhong Tu

cs.AI

Resumen

Los recientes avances en los modelos de lenguaje de gran escala (LLMs) y los modelos de visión-lenguaje (VLMs) han permitido el desarrollo de agentes autónomos potentes capaces de razonamiento complejo y uso de herramientas multimodales. A pesar de sus crecientes capacidades, los marcos de agentes actuales siguen siendo frágiles, careciendo de mecanismos fundamentados para el flujo seguro de información, la fiabilidad y la coordinación multiagente. En este trabajo, presentamos SAFEFLOW, un nuevo marco a nivel de protocolo para construir agentes confiables basados en LLM/VLM. SAFEFLOW aplica un control de flujo de información (IFC) de grano fino, rastreando con precisión la procedencia, integridad y confidencialidad de todos los datos intercambiados entre agentes, herramientas, usuarios y entornos. Al restringir el razonamiento de los LLM para respetar estas etiquetas de seguridad, SAFEFLOW evita que entradas no confiables o adversarias contaminen decisiones de alta integridad. Para garantizar robustez en entornos multiagente concurrentes, SAFEFLOW introduce ejecución transaccional, resolución de conflictos y planificación segura sobre estados compartidos, preservando la consistencia global entre agentes. Además, introducimos mecanismos, como registro anticipado (write-ahead logging), retroceso (rollback) y cachés seguras, que mejoran aún más la resiliencia frente a errores en tiempo de ejecución y violaciones de políticas. Para validar el rendimiento, construimos SAFEFLOWBENCH, un conjunto de pruebas integral diseñado para evaluar la fiabilidad de los agentes bajo condiciones operativas adversas, ruidosas y concurrentes. Experimentos extensivos demuestran que los agentes construidos con SAFEFLOW mantienen un rendimiento impresionante en tareas y garantías de seguridad incluso en entornos hostiles, superando sustancialmente a los métodos más avanzados. Juntos, SAFEFLOW y SAFEFLOWBENCH sientan las bases para ecosistemas de agentes fundamentados, robustos y seguros, avanzando la frontera de la autonomía confiable.

English

Recent advances in large language models (LLMs) and vision-language models (VLMs) have enabled powerful autonomous agents capable of complex reasoning and multi-modal tool use. Despite their growing capabilities, today's agent frameworks remain fragile, lacking principled mechanisms for secure information flow, reliability, and multi-agent coordination. In this work, we introduce SAFEFLOW, a new protocol-level framework for building trustworthy LLM/VLM-based agents. SAFEFLOW enforces fine-grained information flow control (IFC), precisely tracking provenance, integrity, and confidentiality of all the data exchanged between agents, tools, users, and environments. By constraining LLM reasoning to respect these security labels, SAFEFLOW prevents untrusted or adversarial inputs from contaminating high-integrity decisions. To ensure robustness in concurrent multi-agent settings, SAFEFLOW introduces transactional execution, conflict resolution, and secure scheduling over shared state, preserving global consistency across agents. We further introduce mechanisms, including write-ahead logging, rollback, and secure caches, that further enhance resilience against runtime errors and policy violations. To validate the performances, we built SAFEFLOWBENCH, a comprehensive benchmark suite designed to evaluate agent reliability under adversarial, noisy, and concurrent operational conditions. Extensive experiments demonstrate that agents built with SAFEFLOW maintain impressive task performance and security guarantees even in hostile environments, substantially outperforming state-of-the-art. Together, SAFEFLOW and SAFEFLOWBENCH lay the groundwork for principled, robust, and secure agent ecosystems, advancing the frontier of reliable autonomy.