CAR-bench: Valutazione della Coerenza e Consapevolezza dei Limiti degli Agenti LLM in Condizioni di Incertezza del Mondo Reale
CAR-bench: Evaluating the Consistency and Limit-Awareness of LLM Agents under Real-World Uncertainty
January 29, 2026
Autori: Johannes Kirmayr, Lukas Stappen, Elisabeth André
cs.AI
Abstract
I benchmark esistenti per gli agenti basati su Large Language Model (LLM) si concentrano sul completamento dei compiti in contesti idealistici, ma trascurano l'affidabilità nelle applicazioni reali rivolte all'utente. In domini come gli assistenti vocali per auto, gli utenti spesso formulano richieste incomplete o ambigue, creando un'incertezza intrinseca che gli agenti devono gestire attraverso il dialogo, l'uso di strumenti e l'aderenza a politiche predefinite. Introduciamo CAR-bench, un benchmark per valutare la coerenza, la gestione dell'incertezza e la consapevolezza delle capacità negli agenti LLM che utilizzano strumenti in contesti multi-turn, specificamente nel dominio dell'assistente in auto. L'ambiente presenta un utente simulato da un LLM, politiche di dominio e 58 strumenti interconnessi che coprono navigazione, produttività, ricarica e controllo del veicolo. Oltre al completamento standard dei compiti, CAR-bench introduce i task di Allucinazione, che testano la consapevolezza dei limiti dell'agente in caso di strumenti o informazioni mancanti, e i task di Disambiguazione, che richiedono di risolvere l'incertezza attraverso chiarimenti o raccolta interna di informazioni. I risultati baseline rivelano ampi divari tra un successo occasionale e uno coerente in tutti i tipi di task. Anche gli LLM all'avanguardia per il ragionamento raggiungono meno del 50% di tasso di successo coerente nei task di Disambiguazione a causa di azioni premature e violano frequentemente le politiche o fabbricano informazioni per soddisfare le richieste dell'utente nei task di Allucinazione, sottolineando la necessità di agenti LLM più affidabili e consapevoli di sé in contesti reali.
English
Existing benchmarks for Large Language Model (LLM) agents focus on task completion under idealistic settings but overlook reliability in real-world, user-facing applications. In domains, such as in-car voice assistants, users often issue incomplete or ambiguous requests, creating intrinsic uncertainty that agents must manage through dialogue, tool use, and policy adherence. We introduce CAR-bench, a benchmark for evaluating consistency, uncertainty handling, and capability awareness in multi-turn, tool-using LLM agents in an in-car assistant domain. The environment features an LLM-simulated user, domain policies, and 58 interconnected tools spanning navigation, productivity, charging, and vehicle control. Beyond standard task completion, CAR-bench introduces Hallucination tasks that test agents' limit-awareness under missing tools or information, and Disambiguation tasks that require resolving uncertainty through clarification or internal information gathering. Baseline results reveal large gaps between occasional and consistent success on all task types. Even frontier reasoning LLMs achieve less than 50% consistent pass rate on Disambiguation tasks due to premature actions, and frequently violate policies or fabricate information to satisfy user requests in Hallucination tasks, underscoring the need for more reliable and self-aware LLM agents in real-world settings.