SAFEFLOW: Um Protocolo Fundamentado para Sistemas de Agentes Autônomos Confiáveis e Transacionais

SAFEFLOW: A Principled Protocol for Trustworthy and Transactional Autonomous Agent Systems

June 9, 2025

Autores: Peiran Li, Xinkai Zou, Zhuohang Wu, Ruifeng Li, Shuo Xing, Hanwen Zheng, Zhikai Hu, Yuping Wang, Haoxi Li, Qin Yuan, Yingmo Zhang, Zhengzhong Tu

cs.AI

Resumo

Os recentes avanços em modelos de linguagem de grande escala (LLMs) e modelos de visão e linguagem (VLMs) possibilitaram a criação de agentes autônomos poderosos, capazes de raciocínio complexo e uso de ferramentas multimodais. Apesar de suas capacidades crescentes, os frameworks de agentes atuais permanecem frágeis, carecendo de mecanismos fundamentados para fluxo seguro de informações, confiabilidade e coordenação entre múltiplos agentes. Neste trabalho, apresentamos o SAFEFLOW, um novo framework em nível de protocolo para a construção de agentes confiáveis baseados em LLMs/VLMs. O SAFEFLOW impõe controle de fluxo de informações (IFC) de forma granular, rastreando com precisão a proveniência, integridade e confidencialidade de todos os dados trocados entre agentes, ferramentas, usuários e ambientes. Ao restringir o raciocínio dos LLMs para respeitar esses rótulos de segurança, o SAFEFLOW evita que entradas não confiáveis ou adversárias contaminem decisões de alta integridade. Para garantir robustez em cenários concorrentes com múltiplos agentes, o SAFEFLOW introduz execução transacional, resolução de conflitos e agendamento seguro sobre estados compartilhados, preservando a consistência global entre os agentes. Além disso, introduzimos mecanismos, como logging antecipado, rollback e caches seguros, que aumentam a resiliência contra erros de runtime e violações de políticas. Para validar o desempenho, desenvolvemos o SAFEFLOWBENCH, um conjunto abrangente de benchmarks projetado para avaliar a confiabilidade dos agentes em condições operacionais adversas, ruidosas e concorrentes. Experimentos extensivos demonstram que os agentes construídos com o SAFEFLOW mantêm desempenho impressionante em tarefas e garantias de segurança mesmo em ambientes hostis, superando substancialmente o estado da arte. Juntos, o SAFEFLOW e o SAFEFLOWBENCH estabelecem as bases para ecossistemas de agentes fundamentados, robustos e seguros, avançando a fronteira da autonomia confiável.

English

Recent advances in large language models (LLMs) and vision-language models (VLMs) have enabled powerful autonomous agents capable of complex reasoning and multi-modal tool use. Despite their growing capabilities, today's agent frameworks remain fragile, lacking principled mechanisms for secure information flow, reliability, and multi-agent coordination. In this work, we introduce SAFEFLOW, a new protocol-level framework for building trustworthy LLM/VLM-based agents. SAFEFLOW enforces fine-grained information flow control (IFC), precisely tracking provenance, integrity, and confidentiality of all the data exchanged between agents, tools, users, and environments. By constraining LLM reasoning to respect these security labels, SAFEFLOW prevents untrusted or adversarial inputs from contaminating high-integrity decisions. To ensure robustness in concurrent multi-agent settings, SAFEFLOW introduces transactional execution, conflict resolution, and secure scheduling over shared state, preserving global consistency across agents. We further introduce mechanisms, including write-ahead logging, rollback, and secure caches, that further enhance resilience against runtime errors and policy violations. To validate the performances, we built SAFEFLOWBENCH, a comprehensive benchmark suite designed to evaluate agent reliability under adversarial, noisy, and concurrent operational conditions. Extensive experiments demonstrate that agents built with SAFEFLOW maintain impressive task performance and security guarantees even in hostile environments, substantially outperforming state-of-the-art. Together, SAFEFLOW and SAFEFLOWBENCH lay the groundwork for principled, robust, and secure agent ecosystems, advancing the frontier of reliable autonomy.