CAR-bench: Bewertung der Konsistenz und Grenzbewusstheit von LLM-Agenten unter realweltlicher Unsicherheit
CAR-bench: Evaluating the Consistency and Limit-Awareness of LLM Agents under Real-World Uncertainty
January 29, 2026
papers.authors: Johannes Kirmayr, Lukas Stappen, Elisabeth André
cs.AI
papers.abstract
Bestehende Benchmarks für Agenten auf Basis großer Sprachmodelle (LLM) konzentrieren sich auf die Aufgabenerfüllung unter idealisierten Bedingungen, vernachlässigen jedoch die Zuverlässigkeit in realen, anwendernahen Szenarien. In Domänen wie sprachgesteuerten Fahrzeugassistenten geben Nutzer oft unvollständige oder mehrdeutige Anfragen ein, was eine intrinsische Unsicherheit erzeugt, die Agenten durch Dialog, Werkzeugnutzung und Befolgung von Richtlinien bewältigen müssen. Wir stellen CAR-bench vor, einen Benchmark zur Bewertung von Konsistenz, Umgang mit Unsicherheit und Fähigkeitsbewusstsein bei mehrschrittigen, werkzeugnutzenden LLM-Agenten im Kontext von Fahrzeugassistenten. Die Umgebung umfasst einen LLM-simulierten Nutzer, domänenspezifische Richtlinien und 58 vernetzte Werkzeuge aus den Bereichen Navigation, Produktivität, Ladefunktionen und Fahrzeugsteuerung. Über die reine Aufgabenerfüllung hinaus führt CAR-bench Halluzinationsaufgaben ein, die das Grenzbewusstsein der Agenten bei fehlenden Werkzeugen oder Informationen testen, sowie Disambiguierungsaufgaben, die das Auflösen von Unsicherheiten durch Nachfragen oder interne Informationsbeschaffung erfordern. Basislinien-Ergebnisse zeigen große Lücken zwischen gelegentlichem und konsistentem Erfolg bei allen Aufgabentypen. Selbst führende reasoning-LLMs erreichen bei Disambiguierungsaufgaben eine konsistente Bestehensrate von unter 50 % aufgrund vorzeitiger Aktionen und verletzen in Halluzinationsaufgaben häufig Richtlinien oder erfinden Informationen, um Nutzeranfragen zu erfüllen. Dies unterstreicht den Bedarf an zuverlässigeren und selbstreflektierteren LLM-Agenten für reale Anwendungsszenarien.
English
Existing benchmarks for Large Language Model (LLM) agents focus on task completion under idealistic settings but overlook reliability in real-world, user-facing applications. In domains, such as in-car voice assistants, users often issue incomplete or ambiguous requests, creating intrinsic uncertainty that agents must manage through dialogue, tool use, and policy adherence. We introduce CAR-bench, a benchmark for evaluating consistency, uncertainty handling, and capability awareness in multi-turn, tool-using LLM agents in an in-car assistant domain. The environment features an LLM-simulated user, domain policies, and 58 interconnected tools spanning navigation, productivity, charging, and vehicle control. Beyond standard task completion, CAR-bench introduces Hallucination tasks that test agents' limit-awareness under missing tools or information, and Disambiguation tasks that require resolving uncertainty through clarification or internal information gathering. Baseline results reveal large gaps between occasional and consistent success on all task types. Even frontier reasoning LLMs achieve less than 50% consistent pass rate on Disambiguation tasks due to premature actions, and frequently violate policies or fabricate information to satisfy user requests in Hallucination tasks, underscoring the need for more reliable and self-aware LLM agents in real-world settings.