TRiSM für agentenbasierte KI: Eine Übersicht zu Vertrauens-, Risiko- und Sicherheitsmanagement in LLM-basierten agentischen Multi-Agenten-Systemen

TRiSM for Agentic AI: A Review of Trust, Risk, and Security Management in LLM-based Agentic Multi-Agent Systems

June 4, 2025

Autoren: Shaina Raza, Ranjan Sapkota, Manoj Karkee, Christos Emmanouilidis

cs.AI

Zusammenfassung

Agentische KI-Systeme, die auf großen Sprachmodellen (LLMs) basieren und in Multi-Agenten-Konfigurationen eingesetzt werden, revolutionieren intelligente Autonomie, Zusammenarbeit und Entscheidungsfindung in unternehmerischen und gesellschaftlichen Bereichen. Diese Übersichtsarbeit präsentiert eine strukturierte Analyse von Trust, Risk und Security Management (TRiSM) im Kontext von LLM-basierten agentischen Multi-Agenten-Systemen (AMAS). Wir beginnen mit der Untersuchung der konzeptionellen Grundlagen agentischer KI, ihrer architektonischen Unterschiede zu traditionellen KI-Agenten und den aufkommenden Systemdesigns, die skalierbare, werkzeugnutzende Autonomie ermöglichen. Das TRiSM im Rahmen agentischer KI wird dann durch vier Säulen detailliert: Governance, Erklärbarkeit, ModelOps sowie Privatsphäre/Sicherheit – jeweils im Kontext agentischer LLMs. Wir identifizieren einzigartige Bedrohungsvektoren und führen eine umfassende Risikotaxonomie für agentische KI-Anwendungen ein, unterstützt durch Fallstudien, die reale Schwachstellen veranschaulichen. Darüber hinaus untersucht das Papier auch Vertrauensbildungsmechanismen, Transparenz- und Überwachungstechniken sowie state-of-the-art Erklärbarkeitsstrategien in verteilten LLM-Agentensystemen. Zusätzlich werden Metriken zur Bewertung von Vertrauen, Interpretierbarkeit und menschzentrierter Leistung neben offenen Benchmarking-Herausforderungen betrachtet. Sicherheit und Privatsphäre werden durch Verschlüsselung, adversarische Abwehr und die Einhaltung sich entwickelnder KI-Regularien adressiert. Das Papier schließt mit einem Fahrplan für verantwortungsvolle agentische KI und schlägt Forschungsrichtungen vor, um aufkommende Multi-Agenten-Systeme mit robusten TRiSM-Prinzipien für sichere, rechenschaftspflichtige und transparente Bereitstellung in Einklang zu bringen.

English

Agentic AI systems, built on large language models (LLMs) and deployed in multi-agent configurations, are redefining intelligent autonomy, collaboration and decision-making across enterprise and societal domains. This review presents a structured analysis of Trust, Risk, and Security Management (TRiSM) in the context of LLM-based agentic multi-agent systems (AMAS). We begin by examining the conceptual foundations of agentic AI, its architectural differences from traditional AI agents, and the emerging system designs that enable scalable, tool-using autonomy. The TRiSM in the agentic AI framework is then detailed through four pillars governance, explainability, ModelOps, and privacy/security each contextualized for agentic LLMs. We identify unique threat vectors and introduce a comprehensive risk taxonomy for the agentic AI applications, supported by case studies illustrating real-world vulnerabilities. Furthermore, the paper also surveys trust-building mechanisms, transparency and oversight techniques, and state-of-the-art explainability strategies in distributed LLM agent systems. Additionally, metrics for evaluating trust, interpretability, and human-centered performance are reviewed alongside open benchmarking challenges. Security and privacy are addressed through encryption, adversarial defense, and compliance with evolving AI regulations. The paper concludes with a roadmap for responsible agentic AI, proposing research directions to align emerging multi-agent systems with robust TRiSM principles for safe, accountable, and transparent deployment.