에이전트형 AI를 위한 TRiSM: LLM 기반 에이전트형 다중 에이전트 시스템에서의 신뢰, 위험 및 보안 관리에 대한 리뷰

TRiSM for Agentic AI: A Review of Trust, Risk, and Security Management in LLM-based Agentic Multi-Agent Systems

June 4, 2025

저자: Shaina Raza, Ranjan Sapkota, Manoj Karkee, Christos Emmanouilidis

cs.AI

초록

대형 언어 모델(LLM)을 기반으로 구축되고 다중 에이전트 구성으로 배포되는 에이전트형 AI 시스템은 기업 및 사회적 영역 전반에 걸쳐 지능형 자율성, 협업 및 의사결정을 재정의하고 있습니다. 본 리뷰는 LLM 기반 에이전트형 다중 에이전트 시스템(AMAS)의 맥락에서 신뢰, 위험 및 보안 관리(TRiSM)에 대한 구조화된 분석을 제시합니다. 먼저 에이전트형 AI의 개념적 기초, 기존 AI 에이전트와의 아키텍처적 차이, 그리고 확장 가능한 도구 사용 자율성을 가능하게 하는 새로운 시스템 설계를 검토합니다. 그런 다음 에이전트형 AI 프레임워크 내의 TRiSM은 거버넌스, 설명 가능성, ModelOps, 프라이버시/보안이라는 네 가지 기둥을 통해 상세히 설명되며, 각각은 에이전트형 LLM에 맞게 맥락화됩니다. 우리는 고유한 위협 벡터를 식별하고 실제 취약성을 보여주는 사례 연구를 통해 에이전트형 AI 애플리케이션을 위한 포괄적인 위험 분류 체계를 소개합니다. 또한, 이 논문은 분산된 LLM 에이전트 시스템에서의 신뢰 구축 메커니즘, 투명성 및 감독 기술, 최신 설명 가능성 전략을 조사합니다. 더불어, 신뢰, 해석 가능성 및 인간 중심 성능을 평가하기 위한 메트릭과 함께 공개 벤치마킹 과제를 검토합니다. 보안과 프라이버시는 암호화, 적대적 방어, 그리고 진화하는 AI 규정 준수를 통해 다루어집니다. 이 논문은 책임 있는 에이전트형 AI를 위한 로드맵으로 마무리되며, 안전하고 책임감 있으며 투명한 배포를 위해 강력한 TRiSM 원칙과 조화를 이루는 새로운 다중 에이전트 시스템을 위한 연구 방향을 제안합니다.

English

Agentic AI systems, built on large language models (LLMs) and deployed in multi-agent configurations, are redefining intelligent autonomy, collaboration and decision-making across enterprise and societal domains. This review presents a structured analysis of Trust, Risk, and Security Management (TRiSM) in the context of LLM-based agentic multi-agent systems (AMAS). We begin by examining the conceptual foundations of agentic AI, its architectural differences from traditional AI agents, and the emerging system designs that enable scalable, tool-using autonomy. The TRiSM in the agentic AI framework is then detailed through four pillars governance, explainability, ModelOps, and privacy/security each contextualized for agentic LLMs. We identify unique threat vectors and introduce a comprehensive risk taxonomy for the agentic AI applications, supported by case studies illustrating real-world vulnerabilities. Furthermore, the paper also surveys trust-building mechanisms, transparency and oversight techniques, and state-of-the-art explainability strategies in distributed LLM agent systems. Additionally, metrics for evaluating trust, interpretability, and human-centered performance are reviewed alongside open benchmarking challenges. Security and privacy are addressed through encryption, adversarial defense, and compliance with evolving AI regulations. The paper concludes with a roadmap for responsible agentic AI, proposing research directions to align emerging multi-agent systems with robust TRiSM principles for safe, accountable, and transparent deployment.