Agentische Unsicherheitsquantifizierung

Agentic Uncertainty Quantification

January 22, 2026

papers.authors: Jiaxin Zhang, Prafulla Kumar Choubey, Kung-Hsiang Huang, Caiming Xiong, Chien-Sheng Wu

cs.AI

papers.abstract

Obwohl KI-Agenten beeindruckende Fähigkeiten im langfristigen Denken gezeigt haben, wird ihre Zuverlässigkeit erheblich durch die „Spirale der Halluzination“ beeinträchtigt, bei der sich frühe epistemische Fehler irreversibel fortsetzen. Bestehende Methoden stehen vor einem Dilemma: Unsicherheitsquantifizierungsmethoden (UQ) fungieren typischerweise als passive Sensoren, die lediglich Risiken diagnostizieren, ohne sie zu beheben, während Selbstreflexionsmechanismen unter kontinuierlichen oder ziellosen Korrekturen leiden. Um diese Lücke zu schließen, schlagen wir einen einheitlichen Dual-Prozess-Agentic-UQ-Rahmen (AUQ) vor, der verbalisierte Unsicherheit in aktive, bidirektionale Steuersignale umwandelt. Unsere Architektur umfasst zwei komplementäre Mechanismen: System 1 (Unsicherheitsbewusstes Gedächtnis, UAM), das verbalisiertes Vertrauen und semantische Erklärungen implizit weiterleitet, um blinde Entscheidungsfindung zu verhindern; und System 2 (Unsicherheitsbewusste Reflexion, UAR), das diese Erklärungen als rationale Hinweise nutzt, um gezielte Inferenzzeit-Auflösung nur bei Bedarf auszulösen. Dies ermöglicht dem Agenten, effiziente Ausführung und tiefe Abwägung dynamisch auszubalancieren. Umfangreiche Experimente auf Closed-Loop-Benchmarks und offenen Deep-Research-Aufgaben zeigen, dass unser trainingsfreier Ansatz eine überlegene Leistung und trajektorienweite Kalibrierung erreicht. Wir sind überzeugt, dass dieser prinzipienbasierte Rahmen AUQ einen bedeutenden Schritt hin zu zuverlässigen Agenten darstellt.

English

Although AI agents have demonstrated impressive capabilities in long-horizon reasoning, their reliability is severely hampered by the ``Spiral of Hallucination,'' where early epistemic errors propagate irreversibly. Existing methods face a dilemma: uncertainty quantification (UQ) methods typically act as passive sensors, only diagnosing risks without addressing them, while self-reflection mechanisms suffer from continuous or aimless corrections. To bridge this gap, we propose a unified Dual-Process Agentic UQ (AUQ) framework that transforms verbalized uncertainty into active, bi-directional control signals. Our architecture comprises two complementary mechanisms: System 1 (Uncertainty-Aware Memory, UAM), which implicitly propagates verbalized confidence and semantic explanations to prevent blind decision-making; and System 2 (Uncertainty-Aware Reflection, UAR), which utilizes these explanations as rational cues to trigger targeted inference-time resolution only when necessary. This enables the agent to balance efficient execution and deep deliberation dynamically. Extensive experiments on closed-loop benchmarks and open-ended deep research tasks demonstrate that our training-free approach achieves superior performance and trajectory-level calibration. We believe this principled framework AUQ represents a significant step towards reliable agents.