TRiSM para IA Agente: Uma Revisão sobre Gestão de Confiança, Riscos e Segurança em Sistemas Multiagentes Baseados em LLMs com Capacidades Agentes

TRiSM for Agentic AI: A Review of Trust, Risk, and Security Management in LLM-based Agentic Multi-Agent Systems

June 4, 2025

Autores: Shaina Raza, Ranjan Sapkota, Manoj Karkee, Christos Emmanouilidis

cs.AI

Resumo

Sistemas de IA agentes, construídos com base em grandes modelos de linguagem (LLMs) e implantados em configurações multiagentes, estão redefinindo a autonomia inteligente, a colaboração e a tomada de decisões em domínios empresariais e sociais. Esta revisão apresenta uma análise estruturada de Gerenciamento de Confiança, Risco e Segurança (TRiSM) no contexto de sistemas multiagentes baseados em LLMs (AMAS). Começamos examinando os fundamentos conceituais da IA agente, suas diferenças arquitetônicas em relação aos agentes de IA tradicionais e os designs de sistemas emergentes que permitem autonomia escalável com uso de ferramentas. O TRiSM no framework de IA agente é detalhado através de quatro pilares: governança, explicabilidade, ModelOps e privacidade/segurança, cada um contextualizado para LLMs agentes. Identificamos vetores de ameaça únicos e introduzimos uma taxonomia de risco abrangente para aplicações de IA agente, apoiada por estudos de caso que ilustram vulnerabilidades do mundo real. Além disso, o artigo também examina mecanismos de construção de confiança, técnicas de transparência e supervisão, e estratégias de explicabilidade de última geração em sistemas distribuídos de agentes LLM. Métricas para avaliar confiança, interpretabilidade e desempenho centrado no humano são revisadas juntamente com desafios abertos de benchmarking. Segurança e privacidade são abordadas por meio de criptografia, defesa contra adversários e conformidade com regulamentações de IA em evolução. O artigo conclui com um roteiro para IA agente responsável, propondo direções de pesquisa para alinhar sistemas multiagentes emergentes com princípios robustos de TRiSM para implantação segura, responsável e transparente.

English

Agentic AI systems, built on large language models (LLMs) and deployed in multi-agent configurations, are redefining intelligent autonomy, collaboration and decision-making across enterprise and societal domains. This review presents a structured analysis of Trust, Risk, and Security Management (TRiSM) in the context of LLM-based agentic multi-agent systems (AMAS). We begin by examining the conceptual foundations of agentic AI, its architectural differences from traditional AI agents, and the emerging system designs that enable scalable, tool-using autonomy. The TRiSM in the agentic AI framework is then detailed through four pillars governance, explainability, ModelOps, and privacy/security each contextualized for agentic LLMs. We identify unique threat vectors and introduce a comprehensive risk taxonomy for the agentic AI applications, supported by case studies illustrating real-world vulnerabilities. Furthermore, the paper also surveys trust-building mechanisms, transparency and oversight techniques, and state-of-the-art explainability strategies in distributed LLM agent systems. Additionally, metrics for evaluating trust, interpretability, and human-centered performance are reviewed alongside open benchmarking challenges. Security and privacy are addressed through encryption, adversarial defense, and compliance with evolving AI regulations. The paper concludes with a roadmap for responsible agentic AI, proposing research directions to align emerging multi-agent systems with robust TRiSM principles for safe, accountable, and transparent deployment.