Counsel: Ein Meta-Evaluationsdatensatz für agentische Aufgaben

Zusammenfassung

Da immer komplexere mehrschrittige Aufgaben von agentischen Systemen bewältigt werden, stellt die Evaluierung ihrer Handlungsabläufe (Trajektorien) einen erheblichen Engpass dar – die manuelle Annotation einer einzigen Trajektorie in gängigen agentischen Benchmarks kann Stunden dauern, was die Skalierung von Evaluierungen zur Leistungsmessung oder zur Zusammenstellung von Trainingsdaten erschwert. Dies hat zu einer weit verbreiteten Abhängigkeit von automatisierten Ansätzen wie dem LLM-als-Richter (LLMJ) geführt, um Agenten auf Prozess- und Ergebnisebene in großem Umfang zu kritisieren. Die Validität von LLMJ-Kritiken bleibt jedoch oft ungemessen. Hier stellen wir Counsel vor, den ersten öffentlichen Datensatz von Meta-Evaluierungen für agentische Aufgaben. Counsel besteht aus Kritiken auf Prozessebene von Open-Weight-LLMJs für zwei Agenten-Benchmarks: tau-bench (Kundendienst-Agenten) und DA-Code (Codierungs-Agenten), sowie menschlichen Meta-Evaluierungen dieser Kritiken. Menschliche Annotatoren bewerten Kritiken zu jedem markierten Fehler als „vollkommen richtig“, „korrekte Stelle, aber schwache Begründung“ oder „hätte nicht markiert werden sollen“ und erzielen dabei eine zuverlässige Inter-Annotator-Übereinstimmung (Krippendorffs Alpha von 0,78). Der resultierende Datensatz stratifiziert LLMJ-Kritiken nach menschlicher Übereinstimmung sowohl in Bezug auf die Fehlerstelle innerhalb einer Trajektorie als auch auf die Begründungsqualität und dient als wertvolle Datenquelle zur Kalibrierung, Verbesserung oder zum Training von LLMJs für Agenten. Beim Vergleich von Open-Weight-Richtern stellen wir fest, dass sowohl leistungsfähigere Richtermodelle als auch ein höherer Begründungsaufwand eine verbesserte Übereinstimmung mit Menschen ermöglichten, wobei der stärkste Richter eine Übereinstimmung von ~88% bei der Fehlerstelle und ~65% bei der Begründung erreichte. Counsel wird mit Open-Weight-Modellen erstellt und unter einer freizügigen Lizenz für die breite Nutzung durch die Gemeinschaft bereitgestellt, in der Hoffnung, dass dies eine gründliche Untersuchung und eine verbesserte Ausrichtung von LLM-basierten Evaluatoren für agentische Systeme ermöglicht.

English

As agentic systems tackle increasingly complex multi-step tasks, evaluating their trajectories presents a major bottleneck - human annotation of a single trajectory on popular agentic benchmarks can take hours, making it difficult to scale evaluations for measuring performance or curating training data. This has driven widespread reliance on automated approaches such as LLM-as-a-judge (LLMJ) to critique agents at the process and outcome-levels at scale, however, the soundness of LLMJ critiques often goes unmeasured. Here, we introduce Counsel, the first public dataset of meta-evaluations for agentic tasks. Counsel consists of process-level critiques from open-weight LLMJs on two agent benchmarks: tau-bench (customer support agents) and DA-Code (coding agents), and human meta-evaluations of these critiques. Human annotators label critiques on each flagged error as "spot on", "correct location but poor reasoning", or "should not have flagged", achieving reliable inter-annotator agreement (Krippendorff's alpha of 0.78). The resulting dataset stratifies LLMJ critiques by human alignment across both error location within a trajectory and reasoning quality, serving as valuable data to calibrate, improve, or train LLMJs for agents. Comparing open-weight judges, we find that more capable judge models and more reasoning effort both enabled improved human agreement, with the strongest judge reaching ~88% agreement on location and ~65% on reasoning. Counsel is generated using open-weight models and is permissively licensed for broad community use, which we hope will enable rigorous study and improved alignment of LLM-based evaluators for agentic systems.