CAR-bench: Avaliando a Consistência e Consciência dos Limites de Agentes de LLM sob Incerteza do Mundo Real
CAR-bench: Evaluating the Consistency and Limit-Awareness of LLM Agents under Real-World Uncertainty
January 29, 2026
Autores: Johannes Kirmayr, Lukas Stappen, Elisabeth André
cs.AI
Resumo
Os benchmarks existentes para agentes de Grandes Modelos de Linguagem (LLMs) concentram-se na conclusão de tarefas em ambientes idealistas, mas negligenciam a confiabilidade em aplicações do mundo real voltadas para o utilizador. Em domínios como os assistentes de voz automóveis, os utilizadores frequentemente fazem pedidos incompletos ou ambíguos, criando uma incerteza intrínseca que os agentes devem gerir através de diálogo, uso de ferramentas e adesão a políticas. Apresentamos o CAR-bench, um benchmark para avaliar a consistência, o tratamento de incertezas e a consciência das capacidades em agentes LLM multi-turn que utilizam ferramentas, no domínio de um assistente automóvel. O ambiente apresenta um utilizador simulado por LLM, políticas de domínio e 58 ferramentas interligadas que abrangem navegação, produtividade, carregamento e controlo do veículo. Para além da conclusão padrão de tarefas, o CAR-bench introduz tarefas de Alucinação que testam a consciência dos limites do agente perante ferramentas ou informações em falta, e tarefas de Desambiguação que exigem a resolução de incertezas através de clarificação ou recolha interna de informação. Resultados de linha de base revelam grandes lacunas entre o sucesso ocasional e o sucesso consistente em todos os tipos de tarefa. Mesmo os LLMs de raciocínio mais avançado atingem menos de 50% de taxa de aprovação consistente nas tarefas de Desambiguação devido a ações prematuras, e violam frequentemente políticas ou fabricam informações para satisfazer pedidos do utilizador nas tarefas de Alucinação, sublinhando a necessidade de agentes LLM mais confiáveis e autoconscientes em ambientes do mundo real.
English
Existing benchmarks for Large Language Model (LLM) agents focus on task completion under idealistic settings but overlook reliability in real-world, user-facing applications. In domains, such as in-car voice assistants, users often issue incomplete or ambiguous requests, creating intrinsic uncertainty that agents must manage through dialogue, tool use, and policy adherence. We introduce CAR-bench, a benchmark for evaluating consistency, uncertainty handling, and capability awareness in multi-turn, tool-using LLM agents in an in-car assistant domain. The environment features an LLM-simulated user, domain policies, and 58 interconnected tools spanning navigation, productivity, charging, and vehicle control. Beyond standard task completion, CAR-bench introduces Hallucination tasks that test agents' limit-awareness under missing tools or information, and Disambiguation tasks that require resolving uncertainty through clarification or internal information gathering. Baseline results reveal large gaps between occasional and consistent success on all task types. Even frontier reasoning LLMs achieve less than 50% consistent pass rate on Disambiguation tasks due to premature actions, and frequently violate policies or fabricate information to satisfy user requests in Hallucination tasks, underscoring the need for more reliable and self-aware LLM agents in real-world settings.