Das Konfidenz-Dichotomie: Analyse und Minderung von Fehlkalibrierung bei werkzeugnutzenden Agenten

The Confidence Dichotomy: Analyzing and Mitigating Miscalibration in Tool-Use Agents

January 12, 2026

papers.authors: Weihao Xuan, Qingcheng Zeng, Heli Qi, Yunze Xiao, Junjue Wang, Naoto Yokoya

cs.AI

papers.abstract

Autonome Agenten auf Basis von Large Language Models (LLMs) entwickeln sich rasant weiter, um mehrstufige Aufgaben zu bewältigen, doch die Gewährleistung ihrer Vertrauenswürdigkeit bleibt eine kritische Herausforderung. Eine grundlegende Säule dieser Vertrauenswürdigkeit ist die Kalibrierung, die sich auf die Fähigkeit eines Agenten bezieht, ein Konfidenzmaß auszudrücken, das zuverlässig seine tatsächliche Leistung widerspiegelt. Während Kalibrierung für statische Modelle gut etabliert ist, sind ihre Dynamiken in werkzeugintegrierten, agentenbasierten Workflows noch wenig erforscht. In dieser Arbeit untersuchen wir systematisch die verbalisierte Kalibrierung in Werkzeug nutzenden Agenten und decken eine grundlegende Konfidenz-Dichotomie auf, die durch den Werkzeugtyp bedingt ist. Konkret identifiziert unsere Pilotstudie, dass Evidenzwerkzeuge (z.B. Websuche) aufgrund inhärenter Rauschens in abgerufenen Informationen systematisch starke Überkonfidenz verursachen, während Verifikationswerkzeuge (z.B. Code-Interpreter) durch deterministisches Feedback die Schlussfolgerungen verankern und Fehlkalibrierung mildern können. Um die Kalibrierung über verschiedene Werkzeugtypen hinweg robust zu verbessern, schlagen wir ein Reinforcement-Learning(RL)-Feintuning-Framework vor, das gleichzeitig die Aufgabengenauigkeit und die Kalibrierung optimiert, unterstützt durch einen ganzheitlichen Benchmark von Belohnungsdesigns. Wir zeigen, dass unsere trainierten Agenten nicht nur eine überlegene Kalibrierung erreichen, sondern auch eine robuste Generalisierung von lokalen Trainingsumgebungen auf verrauschte Web-Szenarien und auf verschiedene Domänen wie mathematisches Reasoning aufweisen. Unsere Ergebnisse unterstreichen die Notwendigkeit domainspezifischer Kalibrierungsstrategien für Werkzeug nutzende Agenten. In einem breiteren Sinne legt diese Arbeit eine Grundlage für die Entwicklung selbstbewusster Agenten, die Unsicherheit in risikoreichen, realen Einsätzen zuverlässig kommunizieren können.

English

Autonomous agents based on large language models (LLMs) are rapidly evolving to handle multi-turn tasks, but ensuring their trustworthiness remains a critical challenge. A fundamental pillar of this trustworthiness is calibration, which refers to an agent's ability to express confidence that reliably reflects its actual performance. While calibration is well-established for static models, its dynamics in tool-integrated agentic workflows remain underexplored. In this work, we systematically investigate verbalized calibration in tool-use agents, revealing a fundamental confidence dichotomy driven by tool type. Specifically, our pilot study identifies that evidence tools (e.g., web search) systematically induce severe overconfidence due to inherent noise in retrieved information, while verification tools (e.g., code interpreters) can ground reasoning through deterministic feedback and mitigate miscalibration. To robustly improve calibration across tool types, we propose a reinforcement learning (RL) fine-tuning framework that jointly optimizes task accuracy and calibration, supported by a holistic benchmark of reward designs. We demonstrate that our trained agents not only achieve superior calibration but also exhibit robust generalization from local training environments to noisy web settings and to distinct domains such as mathematical reasoning. Our results highlight the necessity of domain-specific calibration strategies for tool-use agents. More broadly, this work establishes a foundation for building self-aware agents that can reliably communicate uncertainty in high-stakes, real-world deployments.