Counsel: Un conjunto de datos de meta-evaluación para tareas agénticas

Resumen

A medida que los sistemas agentivos abordan tareas multi-paso cada vez más complejas, evaluar sus trayectorias presenta un cuello de botella importante: la anotación humana de una sola trayectoria en benchmarks agentivos populares puede llevar horas, dificultando la escalabilidad de las evaluaciones tanto para medir el rendimiento como para curar datos de entrenamiento. Esto ha impulsado una dependencia generalizada de enfoques automatizados, como el uso de un LLM como juez (LLMJ), para criticar agentes a nivel de proceso y de resultado a escala; sin embargo, la solidez de las críticas generadas por LLMJ a menudo no se mide. Aquí presentamos Counsel, el primer conjunto de datos público de meta-evaluaciones para tareas agentivas. Counsel consiste en críticas a nivel de proceso provenientes de LLMJs de peso abierto sobre dos benchmarks agentivos: tau-bench (agentes de atención al cliente) y DA-Code (agentes de codificación), junto con meta-evaluaciones humanas de dichas críticas. Los anotadores humanos etiquetan cada error señalado como "acertado", "ubicación correcta pero razonamiento pobre" o "no debería haberse señalado", logrando un acuerdo fiable entre anotadores (alfa de Krippendorff de 0.78). El conjunto de datos resultante estratifica las críticas de LLMJ según la alineación humana, tanto en la ubicación del error dentro de una trayectoria como en la calidad del razonamiento, sirviendo como datos valiosos para calibrar, mejorar o entrenar LLMJs para agentes. Al comparar jueces de peso abierto, encontramos que modelos de juez más capaces y un mayor esfuerzo de razonamiento mejoran el acuerdo con los humanos, alcanzando el juez más fuerte aproximadamente un 88% de acuerdo en ubicación y un 65% en razonamiento. Counsel se genera utilizando modelos de peso abierto y está licenciado de forma permisiva para un uso amplio por parte de la comunidad, lo que esperamos permita un estudio riguroso y una mejor alineación de los evaluadores basados en LLM para sistemas agentivos.

English

As agentic systems tackle increasingly complex multi-step tasks, evaluating their trajectories presents a major bottleneck - human annotation of a single trajectory on popular agentic benchmarks can take hours, making it difficult to scale evaluations for measuring performance or curating training data. This has driven widespread reliance on automated approaches such as LLM-as-a-judge (LLMJ) to critique agents at the process and outcome-levels at scale, however, the soundness of LLMJ critiques often goes unmeasured. Here, we introduce Counsel, the first public dataset of meta-evaluations for agentic tasks. Counsel consists of process-level critiques from open-weight LLMJs on two agent benchmarks: tau-bench (customer support agents) and DA-Code (coding agents), and human meta-evaluations of these critiques. Human annotators label critiques on each flagged error as "spot on", "correct location but poor reasoning", or "should not have flagged", achieving reliable inter-annotator agreement (Krippendorff's alpha of 0.78). The resulting dataset stratifies LLMJ critiques by human alignment across both error location within a trajectory and reasoning quality, serving as valuable data to calibrate, improve, or train LLMJs for agents. Comparing open-weight judges, we find that more capable judge models and more reasoning effort both enabled improved human agreement, with the strongest judge reaching ~88% agreement on location and ~65% on reasoning. Counsel is generated using open-weight models and is permissively licensed for broad community use, which we hope will enable rigorous study and improved alignment of LLM-based evaluators for agentic systems.