確信度の二律背反：ツール利用エージェントにおける誤較正の分析と軽減

要旨

大規模言語モデル（LLM）に基づく自律エージェントは、マルチターンタスクを処理するために急速に進化しているが、その信頼性を確保することは依然として重要な課題である。この信頼性の基本的な支柱がキャリブレーション（較正度）であり、これはエージェントの実際の性能を確実に反映する信頼度を表明する能力を指す。静的モデルにおけるキャリブレーションは確立されているが、ツール統合型のエージェントワークフローにおけるその動態は未解明のままである。本研究では、ツール利用エージェントにおける言語化されたキャリブレーションを体系的に調査し、ツールタイプによって駆動される根本的な信頼度の二分性を明らかにする。具体的には、パイロット研究により、証拠ツール（例：ウェブ検索）は取得情報に内在するノイズにより体系的な過剰信頼を誘発する一方、検証ツール（例：コードインタプリタ）は確定的なフィードバックを通じて推論を接地し、較正誤差を緩和できることを特定した。ツールタイプ横断的にキャリブレーションを頑健に改善するため、報酬設計の総合的ベンチマークに支えられた、タスク精度とキャリブレーションを共同で最適化する強化学習（RL）ファインチューニングフレームワークを提案する。学習済みエージェントが、優れたキャリブレーションを達成するだけでなく、ローカルな学習環境からノイズの多いウェブ設定へ、さらに数学的推論などの異なる領域へ頑健に一般化することを実証する。本結果は、ツール利用エージェントにおける領域特化的なキャリブレーション戦略の必要性を浮き彫りにする。より広義には、本研究は、高リスクの実世界展開において不確実性を確実に伝達できる自己認識エージェント構築の基盤を確立するものである。

English

Autonomous agents based on large language models (LLMs) are rapidly evolving to handle multi-turn tasks, but ensuring their trustworthiness remains a critical challenge. A fundamental pillar of this trustworthiness is calibration, which refers to an agent's ability to express confidence that reliably reflects its actual performance. While calibration is well-established for static models, its dynamics in tool-integrated agentic workflows remain underexplored. In this work, we systematically investigate verbalized calibration in tool-use agents, revealing a fundamental confidence dichotomy driven by tool type. Specifically, our pilot study identifies that evidence tools (e.g., web search) systematically induce severe overconfidence due to inherent noise in retrieved information, while verification tools (e.g., code interpreters) can ground reasoning through deterministic feedback and mitigate miscalibration. To robustly improve calibration across tool types, we propose a reinforcement learning (RL) fine-tuning framework that jointly optimizes task accuracy and calibration, supported by a holistic benchmark of reward designs. We demonstrate that our trained agents not only achieve superior calibration but also exhibit robust generalization from local training environments to noisy web settings and to distinct domains such as mathematical reasoning. Our results highlight the necessity of domain-specific calibration strategies for tool-use agents. More broadly, this work establishes a foundation for building self-aware agents that can reliably communicate uncertainty in high-stakes, real-world deployments.

確信度の二律背反：ツール利用エージェントにおける誤較正の分析と軽減

The Confidence Dichotomy: Analyzing and Mitigating Miscalibration in Tool-Use Agents

要旨

Support