シーケンスから構造へ：LLMエージェントのための関係的不確実性伝播

要旨

信頼性の高い不確実性定量化（UQ）は、複雑な対話環境に大規模言語モデル（LLM）エージェントを展開するために不可欠である。既存のUQ手法は主にトークン確率、予測エントロピー、各ステップの信頼度などの局所的なシグナルに依存しており、したがって実行軌跡にわたって誤差が蓄積する長期的依存関係を見落としている。その結果、最終回答の数推論ステップまたは対話ステップ前に原因が発生するエージェントの失敗を特定できない可能性がある。我々は、LLMエージェントのための軌跡レベルUQフレームワークであるRUPA（Relational Uncertainty Propagation for Agents、エージェントのための関係的不確実性伝播）を提案する。RUPAは実行履歴を有向軌跡グラフとして表現し、その中で推論状態、ツール相互作用、環境フィードバックが時間的および意味的依存エッジによって接続されたノードとなる。次に、このグラフ上で不確実性を伝播させ、実行リスクが対話ステップ間でどのように蓄積・転移するかを捉える。伝播されたシグナルは、軌跡レベルの行動特徴および目標整合性情報と組み合わせて、エージェントの全軌跡に対する信頼度推定を生成する。我々は、τ-2、Terminal-Bench-2、GAIAを含む代表的なエージェントベンチマークにおいて、複数のモデルファミリーにわたる6つのオープンソースLLMを用いてRUPAを評価する。実験結果は、RUPAがより正確な不確実性推定を提供し、より早期の失敗検出を可能にし、多様なエージェントタスクにおける不確実性誘導型エージェント実行を改善することにより、既存のUQ手法を一貫して上回ることを示している。これらの結果は、長期的なLLMエージェントの信頼性の高いUQには関係的依存関係を明示的にモデル化することが不可欠であり、信頼できるエージェント実行のための実践的基盤を提供することを実証している。

English

Reliable uncertainty quantification (UQ) is essential for deploying large language model (LLM) agents in complex interactive environments. Existing UQ methods largely rely on local signals, such as token probabilities, predictive entropy, or per-step confidence, and therefore overlook the long-range dependencies through which errors accumulate across an execution trajectory. As a result, they may fail to identify agent failures whose causes originate several reasoning or interaction steps before the final answer. We propose RUPA (Relational Uncertainty Propagation for Agents), a trajectory-level UQ framework for LLM agents. RUPA represents an execution history as a directed trajectory graph in which reasoning states, tool interactions, and environment feedback are nodes connected by temporal and semantic dependency edges. It then propagates uncertainty over this graph to capture how execution risk accumulates and transfers across interaction steps. The propagated signal is combined with trajectory-level behavioral features and goal-alignment information to produce a confidence estimate for the full agent trajectory. We evaluate RUPA on representative agent benchmarks, including τ-2, Terminal-Bench-2, and GAIA, using 6 open-source LLMs spanning multiple model families. Experimental results show that RUPA consistently outperforms existing UQ methods by providing more accurate uncertainty estimates, enabling earlier failure detection, and improving uncertainty-guided agent execution across diverse agent tasks. These results demonstrate that explicitly modeling relational dependency is crucial to reliable UQ for long-horizon LLM agents, providing a practical foundation for trustworthy agent execution.