시퀀스에서 구조로: LLM 에이전트를 위한 관계 기반 불확실성 전파

초록

신뢰할 수 있는 불확실성 정량화(UQ)는 복잡한 상호작용 환경에서 대규모 언어 모델(LLM) 에이전트를 배포하는 데 필수적이다. 기존 UQ 방법들은 주로 토큰 확률, 예측 엔트로피, 또는 단계별 신뢰도와 같은 국소적 신호에 의존하므로, 실행 궤적 전반에 걸쳐 오류가 축적되는 장거리 의존성을 간과한다. 그 결과, 최종 답변보다 몇 단계 앞선 추론 또는 상호작용 과정에서 기인한 에이전트 실패를 식별하지 못할 수 있다. 본 연구에서는 LLM 에이전트를 위한 궤적 수준의 UQ 프레임워크인 RUPA(Relational Uncertainty Propagation for Agents)를 제안한다. RUPA는 실행 이력을 방향성 궤적 그래프로 표현하며, 이 그래프에서 추론 상태, 도구 상호작용, 환경 피드백은 시간적 및 의미적 의존성 엣지로 연결된 노드이다. 그런 다음 RUPA는 이 그래프를 통해 불확실성을 전파하여 실행 위험이 상호작용 단계에 걸쳐 축적되고 전이되는 방식을 포착한다. 전파된 신호는 궤적 수준의 행동 특징 및 목표 정렬 정보와 결합되어 전체 에이전트 궤적에 대한 신뢰도 추정치를 생성한다. 본 연구에서는 τ-2, Terminal-Bench-2, GAIA를 포함한 대표적인 에이전트 벤치마크에서 여러 모델 계열에 걸친 6개의 오픈소스 LLM을 사용하여 RUPA를 평가한다. 실험 결과는 RUPA가 보다 정확한 불확실성 추정치를 제공하고, 더 빠른 실패 탐지를 가능하게 하며, 다양한 에이전트 작업에서 불확실성 기반 에이전트 실행을 개선함으로써 기존 UQ 방법을 일관되게 능가함을 보여준다. 이러한 결과는 장기 지평 LLM 에이전트의 신뢰할 수 있는 UQ를 위해 관계적 의존성을 명시적으로 모델링하는 것이 중요함을 입증하며, 신뢰할 수 있는 에이전트 실행을 위한 실질적 기반을 제공한다.

English

Reliable uncertainty quantification (UQ) is essential for deploying large language model (LLM) agents in complex interactive environments. Existing UQ methods largely rely on local signals, such as token probabilities, predictive entropy, or per-step confidence, and therefore overlook the long-range dependencies through which errors accumulate across an execution trajectory. As a result, they may fail to identify agent failures whose causes originate several reasoning or interaction steps before the final answer. We propose RUPA (Relational Uncertainty Propagation for Agents), a trajectory-level UQ framework for LLM agents. RUPA represents an execution history as a directed trajectory graph in which reasoning states, tool interactions, and environment feedback are nodes connected by temporal and semantic dependency edges. It then propagates uncertainty over this graph to capture how execution risk accumulates and transfers across interaction steps. The propagated signal is combined with trajectory-level behavioral features and goal-alignment information to produce a confidence estimate for the full agent trajectory. We evaluate RUPA on representative agent benchmarks, including τ-2, Terminal-Bench-2, and GAIA, using 6 open-source LLMs spanning multiple model families. Experimental results show that RUPA consistently outperforms existing UQ methods by providing more accurate uncertainty estimates, enabling earlier failure detection, and improving uncertainty-guided agent execution across diverse agent tasks. These results demonstrate that explicitly modeling relational dependency is crucial to reliable UQ for long-horizon LLM agents, providing a practical foundation for trustworthy agent execution.