TRiSM voor Agentische AI: Een Overzicht van Beheer van Vertrouwen, Risico en Beveiliging in LLM-gebaseerde Agentische Multi-Agent Systemen

TRiSM for Agentic AI: A Review of Trust, Risk, and Security Management in LLM-based Agentic Multi-Agent Systems

June 4, 2025

Auteurs: Shaina Raza, Ranjan Sapkota, Manoj Karkee, Christos Emmanouilidis

cs.AI

Samenvatting

Agentische AI-systemen, gebouwd op grote taalmodellen (LLM's) en ingezet in multi-agentconfiguraties, herdefiniëren intelligente autonomie, samenwerking en besluitvorming in zowel bedrijfs- als maatschappelijke domeinen. Deze review biedt een gestructureerde analyse van Trust, Risk, en Security Management (TRiSM) in de context van LLM-gebaseerde agentische multi-agent systemen (AMAS). We beginnen met het onderzoeken van de conceptuele fundamenten van agentische AI, de architectonische verschillen met traditionele AI-agents, en de opkomende systeemontwerpen die schaalbare, tool-gebruikende autonomie mogelijk maken. De TRiSM in het agentische AI-framework wordt vervolgens gedetailleerd door vier pijlers: governance, uitlegbaarheid, ModelOps, en privacy/beveiliging, elk gecontextualiseerd voor agentische LLM's. We identificeren unieke bedreigingsvectoren en introduceren een uitgebreide risicotaxonomie voor agentische AI-toepassingen, ondersteund door casestudies die real-world kwetsbaarheden illustreren. Daarnaast onderzoekt het paper vertrouwenopbouwende mechanismen, transparantie- en toezichttechnieken, en state-of-the-art uitlegbaarheidsstrategieën in gedistribueerde LLM-agent systemen. Tevens worden metrieken voor het evalueren van vertrouwen, interpreteerbaarheid en mensgerichte prestaties besproken, naast open benchmarking-uitdagingen. Beveiliging en privacy worden behandeld via encryptie, adversariële verdediging en naleving van evoluerende AI-regelgeving. Het paper sluit af met een roadmap voor verantwoordelijke agentische AI, waarbij onderzoeksrichtingen worden voorgesteld om opkomende multi-agent systemen af te stemmen op robuuste TRiSM-principes voor veilige, verantwoordelijke en transparante inzet.

English

Agentic AI systems, built on large language models (LLMs) and deployed in multi-agent configurations, are redefining intelligent autonomy, collaboration and decision-making across enterprise and societal domains. This review presents a structured analysis of Trust, Risk, and Security Management (TRiSM) in the context of LLM-based agentic multi-agent systems (AMAS). We begin by examining the conceptual foundations of agentic AI, its architectural differences from traditional AI agents, and the emerging system designs that enable scalable, tool-using autonomy. The TRiSM in the agentic AI framework is then detailed through four pillars governance, explainability, ModelOps, and privacy/security each contextualized for agentic LLMs. We identify unique threat vectors and introduce a comprehensive risk taxonomy for the agentic AI applications, supported by case studies illustrating real-world vulnerabilities. Furthermore, the paper also surveys trust-building mechanisms, transparency and oversight techniques, and state-of-the-art explainability strategies in distributed LLM agent systems. Additionally, metrics for evaluating trust, interpretability, and human-centered performance are reviewed alongside open benchmarking challenges. Security and privacy are addressed through encryption, adversarial defense, and compliance with evolving AI regulations. The paper concludes with a roadmap for responsible agentic AI, proposing research directions to align emerging multi-agent systems with robust TRiSM principles for safe, accountable, and transparent deployment.