TRiSM für agentenbasierte KI: Eine Übersicht zu Vertrauens-, Risiko- und Sicherheitsmanagement in LLM-basierten agentischen Multi-Agenten-Systemen
TRiSM for Agentic AI: A Review of Trust, Risk, and Security Management in LLM-based Agentic Multi-Agent Systems
June 4, 2025
Autoren: Shaina Raza, Ranjan Sapkota, Manoj Karkee, Christos Emmanouilidis
cs.AI
Zusammenfassung
Agentische KI-Systeme, die auf großen Sprachmodellen (LLMs) basieren und in Multi-Agenten-Konfigurationen eingesetzt werden, revolutionieren intelligente Autonomie, Zusammenarbeit und Entscheidungsfindung in unternehmerischen und gesellschaftlichen Bereichen. Diese Übersichtsarbeit präsentiert eine strukturierte Analyse von Trust, Risk und Security Management (TRiSM) im Kontext von LLM-basierten agentischen Multi-Agenten-Systemen (AMAS). Wir beginnen mit der Untersuchung der konzeptionellen Grundlagen agentischer KI, ihrer architektonischen Unterschiede zu traditionellen KI-Agenten und den aufkommenden Systemdesigns, die skalierbare, werkzeugnutzende Autonomie ermöglichen. Das TRiSM im Rahmen agentischer KI wird dann durch vier Säulen detailliert: Governance, Erklärbarkeit, ModelOps sowie Privatsphäre/Sicherheit – jeweils im Kontext agentischer LLMs. Wir identifizieren einzigartige Bedrohungsvektoren und führen eine umfassende Risikotaxonomie für agentische KI-Anwendungen ein, unterstützt durch Fallstudien, die reale Schwachstellen veranschaulichen. Darüber hinaus untersucht das Papier auch Vertrauensbildungsmechanismen, Transparenz- und Überwachungstechniken sowie state-of-the-art Erklärbarkeitsstrategien in verteilten LLM-Agentensystemen. Zusätzlich werden Metriken zur Bewertung von Vertrauen, Interpretierbarkeit und menschzentrierter Leistung neben offenen Benchmarking-Herausforderungen betrachtet. Sicherheit und Privatsphäre werden durch Verschlüsselung, adversarische Abwehr und die Einhaltung sich entwickelnder KI-Regularien adressiert. Das Papier schließt mit einem Fahrplan für verantwortungsvolle agentische KI und schlägt Forschungsrichtungen vor, um aufkommende Multi-Agenten-Systeme mit robusten TRiSM-Prinzipien für sichere, rechenschaftspflichtige und transparente Bereitstellung in Einklang zu bringen.
English
Agentic AI systems, built on large language models (LLMs) and deployed in
multi-agent configurations, are redefining intelligent autonomy, collaboration
and decision-making across enterprise and societal domains. This review
presents a structured analysis of Trust, Risk, and Security Management (TRiSM)
in the context of LLM-based agentic multi-agent systems (AMAS). We begin by
examining the conceptual foundations of agentic AI, its architectural
differences from traditional AI agents, and the emerging system designs that
enable scalable, tool-using autonomy. The TRiSM in the agentic AI framework is
then detailed through four pillars governance, explainability, ModelOps, and
privacy/security each contextualized for agentic LLMs. We identify unique
threat vectors and introduce a comprehensive risk taxonomy for the agentic AI
applications, supported by case studies illustrating real-world
vulnerabilities. Furthermore, the paper also surveys trust-building mechanisms,
transparency and oversight techniques, and state-of-the-art explainability
strategies in distributed LLM agent systems. Additionally, metrics for
evaluating trust, interpretability, and human-centered performance are reviewed
alongside open benchmarking challenges. Security and privacy are addressed
through encryption, adversarial defense, and compliance with evolving AI
regulations. The paper concludes with a roadmap for responsible agentic AI,
proposing research directions to align emerging multi-agent systems with robust
TRiSM principles for safe, accountable, and transparent deployment.