A Dicotomia da Confiança: Análise e Mitigação da Má Calibração em Agentes com Uso de Ferramentas

The Confidence Dichotomy: Analyzing and Mitigating Miscalibration in Tool-Use Agents

January 12, 2026

Autores: Weihao Xuan, Qingcheng Zeng, Heli Qi, Yunze Xiao, Junjue Wang, Naoto Yokoya

cs.AI

Resumo

Os agentes autónomos baseados em grandes modelos de linguagem (LLMs) estão a evoluir rapidamente para lidar com tarefas de múltiplos turnos, mas garantir a sua confiabilidade continua a ser um desafio crítico. Um pilar fundamental desta confiabilidade é a calibração, que se refere à capacidade de um agente expressar uma confiança que reflete de forma fiável o seu desempenho real. Embora a calibração esteja bem estabelecida para modelos estáticos, a sua dinâmica em fluxos de trabalho agentivos com integração de ferramentas permanece pouco explorada. Neste trabalho, investigamos sistematicamente a calibração verbalizada em agentes que utilizam ferramentas, revelando uma dicotomia fundamental de confiança impulsionada pelo tipo de ferramenta. Especificamente, o nosso estudo piloto identifica que as ferramentas de evidência (por exemplo, pesquisa na web) induzem sistematicamente uma sobreconfiança severa devido ao ruído inerente na informação recuperada, enquanto as ferramentas de verificação (por exemplo, interpretadores de código) podem fundamentar o raciocínio através de *feedback* determinístico e mitigar a má calibração. Para melhorar robustamente a calibração entre tipos de ferramentas, propomos um framework de *fine-tuning* por aprendizagem por reforço (RL) que otimiza conjuntamente a precisão da tarefa e a calibração, apoiado por um *benchmark* holístico de desenhos de recompensa. Demonstramos que os nossos agentes treinados não só alcançam uma calibração superior, mas também exibem uma generalização robusta desde ambientes de treino locais para configurações web ruidosas e para domínios distintos, como o raciocínio matemático. Os nossos resultados destacam a necessidade de estratégias de calibração específicas por domínio para agentes que utilizam ferramentas. De forma mais ampla, este trabalho estabelece uma base para a construção de agentes autoconscientes que podem comunicar de forma fiável a incerteza em implementações do mundo real de alto risco.

English

Autonomous agents based on large language models (LLMs) are rapidly evolving to handle multi-turn tasks, but ensuring their trustworthiness remains a critical challenge. A fundamental pillar of this trustworthiness is calibration, which refers to an agent's ability to express confidence that reliably reflects its actual performance. While calibration is well-established for static models, its dynamics in tool-integrated agentic workflows remain underexplored. In this work, we systematically investigate verbalized calibration in tool-use agents, revealing a fundamental confidence dichotomy driven by tool type. Specifically, our pilot study identifies that evidence tools (e.g., web search) systematically induce severe overconfidence due to inherent noise in retrieved information, while verification tools (e.g., code interpreters) can ground reasoning through deterministic feedback and mitigate miscalibration. To robustly improve calibration across tool types, we propose a reinforcement learning (RL) fine-tuning framework that jointly optimizes task accuracy and calibration, supported by a holistic benchmark of reward designs. We demonstrate that our trained agents not only achieve superior calibration but also exhibit robust generalization from local training environments to noisy web settings and to distinct domains such as mathematical reasoning. Our results highlight the necessity of domain-specific calibration strategies for tool-use agents. More broadly, this work establishes a foundation for building self-aware agents that can reliably communicate uncertainty in high-stakes, real-world deployments.