UniClawBench: Ein universeller Benchmark für proaktive Agenten bei realen Aufgaben

Zusammenfassung

Die rasante Entwicklung großer Sprachmodelle und multimodaler großer Sprachmodelle hat die Entstehung proaktiver Agenten beschleunigt, die alltägliche Werkzeuge bedienen und Benutzern in realen Umgebungen assistieren können. Allerdings fällt es bestehenden Benchmarks schwer, solche Agenten effektiv zu bewerten, da sie häufig auf Sandbox-Umgebungen und Einzelrunden-Bewertungsparadigmen basieren. Darüber hinaus vermischen ihre szenarienbasierten Aufgabenklassifikationen mehrere Modellfähigkeiten innerhalb derselben Aufgabenkategorie, was die Identifikation der grundlegenden Ursachen für Agentenfehler erschwert. Um diese Einschränkungen zu adressieren, führen wir UniClawBench ein, den ersten fähigkeitsgetriebenen Benchmark zur Bewertung proaktiver Agenten in dynamischen, realen Umgebungen. UniClawBench ist um fünf grundlegende Modellfähigkeiten herum aufgebaut: Nutzung von Fähigkeiten, Exploration, Langkontext-Schlussfolgern, multimodales Verstehen und plattformübergreifende Koordination. Basierend auf diesen Fähigkeiten entwerfen wir 400 zweisprachige reale Aufgaben. Im Gegensatz zu früheren Benchmarks, die sich auf statische, vorab aufgezeichnete Antworten stützen, bewertet unser Benchmark Agenten in Live-Docker-Containern mithilfe detaillierter, schrittweiser Abschlussprüfpunkte. Darüber hinaus entwickeln wir eine geschlossene Bewertungsstrategie, bestehend aus einem Ausführungsagenten, einem versteckten Supervisor-Agenten und einem Benutzeragenten, um realistische mehrrundige Nutzerrückmeldungen zu simulieren, ohne Bewertungskriterien preiszugeben. Um Basismodellfähigkeiten von Entwurfsentscheidungen auf Framework-Ebene zu trennen, evaluieren wir moderne Modelle unter mehreren Agenten-Frameworks. Durch umfassende Vergleiche sowohl zwischen Modellen als auch Frameworks zeigen wir, wie Basismodellfähigkeiten und Agentenframeworks gemeinsam die Leistung in realen Umgebungen prägen. Um zukünftige Forschung zu unterstützen, stellen wir unseren Benchmark und Code öffentlich unter https://github.com/HKU-MMLab/UniClawBench zur Verfügung.

English

The rapid development of large language models and multimodal large language models has accelerated the emergence of proactive agents capable of operating everyday tools and assisting users in real-world environments. However, existing benchmarks struggle to evaluate such agents effectively, as they often rely on sandboxed environments and single-turn evaluation paradigms. Moreover, their scenario-based task taxonomies mix multiple model capabilities within the same task category, making it difficult to identify the root causes of agent failures. To address these limitations, we introduce UniClawBench, the first capability-driven benchmark designed to evaluate proactive agents in dynamic, real-world settings. UniClawBench is built around five foundational model capabilities: Skill Usage, Exploration, Long-Context Reasoning, Multimodal Understanding, and Cross-Platform Coordination. Based on these capabilities, we design 400 bilingual real-world tasks. Unlike previous benchmarks that rely on static, pre-recorded answers, our benchmark evaluates agents in live Docker containers using fine-grained, step-by-step completion checkpoints. Furthermore, we design a closed-loop evaluation strategy comprising an executor agent, a hidden supervisor agent, and a user agent to simulate realistic multi-turn human feedback without leaking grading criteria. To disentangle base model capabilities from framework-level design choices, we evaluate state-of-the-art models under multiple agent frameworks. Through comprehensive comparisons across both models and frameworks, we show how base model capabilities and agent framework designs jointly shape performance in real-world environments. To facilitate future research, we make our benchmark and code publicly available at https://github.com/HKU-MMLab/UniClawBench.