Claw-Eval: Auf dem Weg zu einer vertrauenswürdigen Evaluierung autonomer Agenten

Zusammenfassung

Große Sprachmodelle werden zunehmend als autonome Agenten eingesetzt, die mehrstufige Arbeitsabläufe in realen Softwareumgebungen ausführen. Allerdings weisen bestehende Agenten-Benchmarks drei kritische Einschränkungen auf: (1) trajektorienopake Bewertung, die nur Endergebnisse prüft, (2) unzureichend spezifizierte Sicherheits- und Robustheitsbewertung sowie (3) eingeschränkte Modalitätsabdeckung und Interaktionsparadigmen. Wir stellen Claw-Eval vor, eine End-to-End-Bewertungssuite, die alle drei Lücken schließt. Sie umfasst 300 menschlich verifizierte Aufgaben aus 9 Kategorien in drei Gruppen (allgemeine Dienstorchestrierung, multimodale Wahrnehmung und Generierung sowie mehrstufige Fachdialoge). Jede Agentenaktion wird über drei unabhängige Evidenzkanäle aufgezeichnet (Ausführungsspuren, Prüfprotokolle und Umgebungssnapshots), was eine trajektorienbewusste Bewertung anhand von 2.159 detaillierten Bewertungskriterien ermöglicht. Das Bewertungsprotokoll evaluiert Abschluss, Sicherheit und Robustheit und ermittelt den Durchschnittswert, Pass@k und Pass^k über drei Durchläufe, um echte Fähigkeiten von Glückstreffern zu unterscheiden. Experimente mit 14 Spitzenmodellen zeigen: (1) Trajektorienopake Bewertung ist systematisch unzuverlässig und übersieht 44% der Sicherheitsverletzungen und 13% der Robustheitsfehler, die unsere hybride Pipeline erfasst; (2) Kontrollierte Fehlerinjektion verschlechtert primär die Konsistenz statt der Spitzenfähigkeit, wobei Pass^3 um bis zu 24% sinkt, während Pass@3 stabil bleibt; (3) Multimodale Leistung variiert stark, wobei die meisten Modelle bei Video schlechter abschneiden als bei Dokumenten oder Bildern, und kein einzelnes Modell dominiert alle Modalitäten. Über reine Leistungsmessung hinaus weist Claw-Eval handlungsorientierte Richtungen für die Agentenentwicklung auf und beleuchtet, was nötig ist, um Agenten zu bauen, die nicht nur fähig, sondern zuverlässig einsetzbar sind.

English

Large language models are increasingly deployed as autonomous agents executing multi-step workflows in real-world software environments. However, existing agent benchmarks suffer from three critical limitations: (1) trajectory-opaque grading that checks only final outputs, (2) underspecified safety and robustness evaluation, and (3) narrow modality coverage and interaction paradigms. We introduce Claw-Eval, an end-to-end evaluation suite addressing all three gaps. It comprises 300 human-verified tasks spanning 9 categories across three groups (general service orchestration, multimodal perception and generation, and multi-turn professional dialogue). Every agent action is recorded through three independent evidence channels (execution traces, audit logs, and environment snapshots), enabling trajectory-aware grading over 2,159 fine-grained rubric items. The scoring protocol evaluates Completion, Safety, and Robustness, reporting Average Score, Pass@k, and Pass^k across three trials to distinguish genuine capability from lucky outcomes. Experiments on 14 frontier models reveal that: (1) trajectory-opaque evaluation is systematically unreliable, missing 44% of safety violations and 13% of robustness failures that our hybrid pipeline catches; (2) controlled error injection primarily degrades consistency rather than peak capability, with Pass^3 dropping up to 24% while Pass@3 remains stable; (3) multimodal performance varies sharply, with most models performing poorer on video than on document or image, and no single model dominating across all modalities. Beyond benchmarking, Claw-Eval highlights actionable directions for agent development, shedding light on what it takes to build agents that are not only capable but reliably deployable.

Claw-Eval: Auf dem Weg zu einer vertrauenswürdigen Evaluierung autonomer Agenten

Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents

Zusammenfassung

Support