CAR-bench : Évaluation de la cohérence et de la conscience des limites des agents LLM face à l'incertitude du monde réel
CAR-bench: Evaluating the Consistency and Limit-Awareness of LLM Agents under Real-World Uncertainty
January 29, 2026
papers.authors: Johannes Kirmayr, Lukas Stappen, Elisabeth André
cs.AI
papers.abstract
Les bancs d'essai existants pour les agents de modèles de langage de grande taille (LLM) se concentrent sur l'accomplissement de tâches dans des conditions idéales, mais négligent la fiabilité dans des applications réalistes destinées aux utilisateurs finaux. Dans des domaines comme les assistants vocaux embarqués, les utilisateurs formulent souvent des requêtes incomplètes ou ambiguës, créant une incertitude intrinsèque que les agents doivent gérer par le dialogue, l'utilisation d'outils et le respect de politiques opérationnelles. Nous présentons CAR-bench, un banc d'essai conçu pour évaluer la cohérence, la gestion de l'incertitude et la conscience des capacités des agents LLM utilisant des outils dans un scénario d'assistant embarqué à tours de rôle. L'environnement comprend un utilisateur simulé par un LLM, des politiques de domaine et 58 outils interconnectés couvrant la navigation, la productivité, la recharge et le contrôle du véhicule. Au-delà de l'accomplissement standard des tâches, CAR-bench introduit des tâches d'Hallucination qui testent la conscience des limites de l'agent face à des outils ou informations manquants, et des tâches de Désambiguïsation qui exigent de résoudre l'incertitude par clarification ou collecte d'informations internes. Les résultats de référence révèlent d'importants écarts entre une réussite occasionnelle et une réussite constante sur tous les types de tâches. Même les LLM de pointe spécialisés en raisonnement obtiennent un taux de réussite constant inférieur à 50 % sur les tâches de Désambiguïsation en raison d'actions prématurées, et violent fréquemment les politiques ou inventent des informations pour satisfaire les requêtes utilisateur dans les tâches d'Hallucination, soulignant le besoin d'agents LLM plus fiables et conscients de leurs limites dans des contextes réels.
English
Existing benchmarks for Large Language Model (LLM) agents focus on task completion under idealistic settings but overlook reliability in real-world, user-facing applications. In domains, such as in-car voice assistants, users often issue incomplete or ambiguous requests, creating intrinsic uncertainty that agents must manage through dialogue, tool use, and policy adherence. We introduce CAR-bench, a benchmark for evaluating consistency, uncertainty handling, and capability awareness in multi-turn, tool-using LLM agents in an in-car assistant domain. The environment features an LLM-simulated user, domain policies, and 58 interconnected tools spanning navigation, productivity, charging, and vehicle control. Beyond standard task completion, CAR-bench introduces Hallucination tasks that test agents' limit-awareness under missing tools or information, and Disambiguation tasks that require resolving uncertainty through clarification or internal information gathering. Baseline results reveal large gaps between occasional and consistent success on all task types. Even frontier reasoning LLMs achieve less than 50% consistent pass rate on Disambiguation tasks due to premature actions, and frequently violate policies or fabricate information to satisfy user requests in Hallucination tasks, underscoring the need for more reliable and self-aware LLM agents in real-world settings.