Agentische Konfidenzkalibrierung

papers.abstract

KI-Agenten entwickeln sich rasant von passiven Sprachmodellen zu autonomen Systemen, die komplexe, mehrstufige Aufgaben ausführen. Doch ihre Überzuversicht bei Fehlschlägen bleibt eine grundlegende Barriere für den Einsatz in hochriskanten Umgebungen. Bestehende Kalibrierungsmethoden, die für statische Einzelschritt-Ausgaben konzipiert wurden, können die einzigartigen Herausforderungen agentenbasierter Systeme nicht bewältigen, wie sich verstärkende Fehler entlang von Trajektorien, Unsicherheiten durch externe Werkzeuge und undurchsichtige Fehlermodi. Um diese Herausforderungen zu adressieren, führen wir erstmals das Problem der Agentischen Konfidenzkalibrierung ein und schlagen Holistische Trajektorienkalibrierung (HTC) vor, einen neuartigen diagnostischen Rahmen, der umfassende prozessbezogene Merkmale – von Makrodynamiken bis hin zu Mikrostabilität – über die gesamte Trajektorie eines Agenten extrahiert. Angetrieben durch ein einfaches, interpretierbares Modell übertrifft HTC konsistent starke Vergleichsverfahren sowohl in der Kalibrierung als auch in der Diskriminierung über acht Benchmarks, mehrere große Sprachmodelle (LLMs) und diverse Agenten-Frameworks hinweg. Über die Leistung hinaus bietet HTC drei wesentliche Fortschritte: Es liefert Interpretierbarkeit durch Aufdeckung der Signale hinter Fehlschlägen, ermöglicht Transferierbarkeit durch Anwendung über Domänen hinweg ohne Neukalibrierung und erreicht Generalisierung durch einen Allgemeinen Agenten-Kalibrator (GAC), der die beste Kalibrierung (niedrigste ECE) auf dem domänenfremden GAIA-Benchmark erzielt. Zusammengenommen etablieren diese Beiträge ein neues prozesszentriertes Paradigma für die Konfidenzkalibrierung und bieten einen Rahmen zur Diagnose und Verbesserung der Zuverlässigkeit von KI-Agenten.

English

AI agents are rapidly advancing from passive language models to autonomous systems executing complex, multi-step tasks. Yet their overconfidence in failure remains a fundamental barrier to deployment in high-stakes settings. Existing calibration methods, built for static single-turn outputs, cannot address the unique challenges of agentic systems, such as compounding errors along trajectories, uncertainty from external tools, and opaque failure modes. To address these challenges, we introduce, for the first time, the problem of Agentic Confidence Calibration and propose Holistic Trajectory Calibration (HTC), a novel diagnostic framework that extracts rich process-level features ranging from macro dynamics to micro stability across an agent's entire trajectory. Powered by a simple, interpretable model, HTC consistently surpasses strong baselines in both calibration and discrimination, across eight benchmarks, multiple LLMs, and diverse agent frameworks. Beyond performance, HTC delivers three essential advances: it provides interpretability by revealing the signals behind failure, enables transferability by applying across domains without retraining, and achieves generalization through a General Agent Calibrator (GAC) that achieves the best calibration (lowest ECE) on the out-of-domain GAIA benchmark. Together, these contributions establish a new process-centric paradigm for confidence calibration, providing a framework for diagnosing and enhancing the reliability of AI agents.