CAR-bench: Evaluatie van de Consistentie en Grensbewustheid van LLM-agenten onder Real-World Onzekerheid

CAR-bench: Evaluating the Consistency and Limit-Awareness of LLM Agents under Real-World Uncertainty

January 29, 2026

Auteurs: Johannes Kirmayr, Lukas Stappen, Elisabeth André

cs.AI

Samenvatting

Bestaande benchmarks voor Large Language Model (LLM)-agenten richten zich op taakvoltooiing onder idealistische omstandigheden, maar negeren de betrouwbaarheid in realistische, gebruikersgerichte toepassingen. In domeinen zoals spraakassistenten in auto's geven gebruikers vaak onvolledige of dubbelzinnige verzoeken, wat intrinsieke onzekerheid creëert die agenten moeten beheersen via dialoog, toolgebruik en naleving van beleid. Wij introduceren CAR-bench, een benchmark voor het evalueren van consistentie, omgang met onzekerheid en bewustzijn van capaciteiten bij multi-turn, toolgebruikende LLM-agenten in een domein van een auto-assistent. De omgeving omvat een door een LLM gesimuleerde gebruiker, domeinspecifiek beleid en 58 onderling verbonden tools voor navigatie, productiviteit, opladen en voertuigbesturing. Naast standaard taakvoltooiing introduceert CAR-bench Hallucinatie-taken die het bewustzijn van de eigen limieten van agenten testen bij ontbrekende tools of informatie, en Disambiguatie-taken die het oplossen van onzekerheid vereisen via opheldering of intern informatievergaren. Basisresultaten tonen grote verschillen tussen incidenteel en consistent succes bij alle taaktypen. Zelfs geavanceerde redenerende LLM's halen minder dan 50% consistent slaagpercentage bij Disambiguatie-taken door voortijdige acties, en overtreden vaak het beleid of fabriceren informatie om aan gebruikersverzoeken te voldoen in Hallucinatie-taken, wat de noodzaak onderstreept van betrouwbaardere en zelfbewustere LLM-agenten in realistische settings.

English

Existing benchmarks for Large Language Model (LLM) agents focus on task completion under idealistic settings but overlook reliability in real-world, user-facing applications. In domains, such as in-car voice assistants, users often issue incomplete or ambiguous requests, creating intrinsic uncertainty that agents must manage through dialogue, tool use, and policy adherence. We introduce CAR-bench, a benchmark for evaluating consistency, uncertainty handling, and capability awareness in multi-turn, tool-using LLM agents in an in-car assistant domain. The environment features an LLM-simulated user, domain policies, and 58 interconnected tools spanning navigation, productivity, charging, and vehicle control. Beyond standard task completion, CAR-bench introduces Hallucination tasks that test agents' limit-awareness under missing tools or information, and Disambiguation tasks that require resolving uncertainty through clarification or internal information gathering. Baseline results reveal large gaps between occasional and consistent success on all task types. Even frontier reasoning LLMs achieve less than 50% consistent pass rate on Disambiguation tasks due to premature actions, and frequently violate policies or fabricate information to satisfy user requests in Hallucination tasks, underscoring the need for more reliable and self-aware LLM agents in real-world settings.