TRiSM pour l'IA Agentique : Une Revue de la Gestion de la Confiance, des Risques et de la Sécurité dans les Systèmes Multi-Agents Agentiques Basés sur des Modèles de Langage

TRiSM for Agentic AI: A Review of Trust, Risk, and Security Management in LLM-based Agentic Multi-Agent Systems

June 4, 2025

Auteurs: Shaina Raza, Ranjan Sapkota, Manoj Karkee, Christos Emmanouilidis

cs.AI

Résumé

Les systèmes d'IA agentiques, construits sur des modèles de langage à grande échelle (LLMs) et déployés dans des configurations multi-agents, redéfinissent l'autonomie intelligente, la collaboration et la prise de décision dans les domaines de l'entreprise et de la société. Cette revue présente une analyse structurée de la gestion de la confiance, des risques et de la sécurité (TRiSM) dans le contexte des systèmes multi-agents agentiques basés sur des LLMs (AMAS). Nous commençons par examiner les fondements conceptuels de l'IA agentique, ses différences architecturales par rapport aux agents d'IA traditionnels, et les conceptions de systèmes émergents qui permettent une autonomie évolutive et utilisatrice d'outils. La TRiSM dans le cadre de l'IA agentique est ensuite détaillée à travers quatre piliers : gouvernance, explicabilité, ModelOps, et confidentialité/sécurité, chacun contextualisé pour les LLMs agentiques. Nous identifions des vecteurs de menace uniques et introduisons une taxonomie complète des risques pour les applications de l'IA agentique, soutenue par des études de cas illustrant des vulnérabilités réelles. En outre, l'article passe en revue les mécanismes de construction de la confiance, les techniques de transparence et de supervision, ainsi que les stratégies d'explicabilité de pointe dans les systèmes d'agents LLMs distribués. De plus, les métriques pour évaluer la confiance, l'interprétabilité et la performance centrée sur l'humain sont examinées, ainsi que les défis ouverts en matière de benchmarking. La sécurité et la confidentialité sont abordées à travers le chiffrement, la défense contre les attaques adverses et la conformité aux régulations évolutives en matière d'IA. L'article conclut avec une feuille de route pour une IA agentique responsable, proposant des directions de recherche pour aligner les systèmes multi-agents émergents avec des principes robustes de TRiSM en vue d'un déploiement sûr, responsable et transparent.

English

Agentic AI systems, built on large language models (LLMs) and deployed in multi-agent configurations, are redefining intelligent autonomy, collaboration and decision-making across enterprise and societal domains. This review presents a structured analysis of Trust, Risk, and Security Management (TRiSM) in the context of LLM-based agentic multi-agent systems (AMAS). We begin by examining the conceptual foundations of agentic AI, its architectural differences from traditional AI agents, and the emerging system designs that enable scalable, tool-using autonomy. The TRiSM in the agentic AI framework is then detailed through four pillars governance, explainability, ModelOps, and privacy/security each contextualized for agentic LLMs. We identify unique threat vectors and introduce a comprehensive risk taxonomy for the agentic AI applications, supported by case studies illustrating real-world vulnerabilities. Furthermore, the paper also surveys trust-building mechanisms, transparency and oversight techniques, and state-of-the-art explainability strategies in distributed LLM agent systems. Additionally, metrics for evaluating trust, interpretability, and human-centered performance are reviewed alongside open benchmarking challenges. Security and privacy are addressed through encryption, adversarial defense, and compliance with evolving AI regulations. The paper concludes with a roadmap for responsible agentic AI, proposing research directions to align emerging multi-agent systems with robust TRiSM principles for safe, accountable, and transparent deployment.