Counsel: Um Conjunto de Dados de Meta-Avaliação para Tarefas Agentivas

Resumo

À medida que sistemas agentivos enfrentam tarefas multi-etapa cada vez mais complexas, avaliar suas trajetórias representa um gargalo significativo — a anotação humana de uma única trajetória em benchmarks populares para agentes pode levar horas, dificultando a escala das avaliações para medir desempenho ou selecionar dados de treinamento. Isso tem impulsionado uma dependência generalizada de abordagens automatizadas, como o LLM como juiz (LLMJ), para criticar agentes nos níveis de processo e resultado em larga escala; no entanto, a solidez das críticas do LLMJ frequentemente não é medida. Apresentamos aqui o Counsel, o primeiro conjunto de dados público de meta-avaliações para tarefas agentivas. O Counsel consiste em críticas em nível de processo de LLMJs de peso aberto em dois benchmarks para agentes: tau-bench (agentes de atendimento ao cliente) e DA-Code (agentes de codificação), além de meta-avaliações humanas dessas críticas. Anotadores humanos rotulam cada crítica sobre um erro sinalizado como "preciso", "localização correta, mas raciocínio pobre" ou "não deveria ter sido sinalizado", alcançando concordância confiável entre anotadores (alfa de Krippendorff de 0,78). O conjunto de dados resultante estratifica as críticas dos LLMJs por alinhamento humano, tanto em relação à localização do erro dentro de uma trajetória quanto à qualidade do raciocínio, servindo como dados valiosos para calibrar, melhorar ou treinar LLMJs para agentes. Ao comparar juízes de peso aberto, descobrimos que modelos juízes mais capazes e maior esforço de raciocínio contribuíram para uma melhor concordância humana, com o juiz mais forte alcançando cerca de 88% de concordância quanto à localização e cerca de 65% quanto ao raciocínio. O Counsel é gerado usando modelos de peso aberto e possui licença permissiva para amplo uso pela comunidade, o que esperamos permitir estudos rigorosos e melhor alinhamento de avaliadores baseados em LLM para sistemas agentivos.

English

As agentic systems tackle increasingly complex multi-step tasks, evaluating their trajectories presents a major bottleneck - human annotation of a single trajectory on popular agentic benchmarks can take hours, making it difficult to scale evaluations for measuring performance or curating training data. This has driven widespread reliance on automated approaches such as LLM-as-a-judge (LLMJ) to critique agents at the process and outcome-levels at scale, however, the soundness of LLMJ critiques often goes unmeasured. Here, we introduce Counsel, the first public dataset of meta-evaluations for agentic tasks. Counsel consists of process-level critiques from open-weight LLMJs on two agent benchmarks: tau-bench (customer support agents) and DA-Code (coding agents), and human meta-evaluations of these critiques. Human annotators label critiques on each flagged error as "spot on", "correct location but poor reasoning", or "should not have flagged", achieving reliable inter-annotator agreement (Krippendorff's alpha of 0.78). The resulting dataset stratifies LLMJ critiques by human alignment across both error location within a trajectory and reasoning quality, serving as valuable data to calibrate, improve, or train LLMJs for agents. Comparing open-weight judges, we find that more capable judge models and more reasoning effort both enabled improved human agreement, with the strongest judge reaching ~88% agreement on location and ~65% on reasoning. Counsel is generated using open-weight models and is permissively licensed for broad community use, which we hope will enable rigorous study and improved alignment of LLM-based evaluators for agentic systems.