UniClawBench: 実世界タスクにおけるプロアクティブエージェントのためのユニバーサルベンチマーク

要旨

大規模言語モデルとマルチモーダル大規模言語モデルの急速な発展により、日常的なツールを操作し、実世界環境でユーザーを支援できるプロアクティブエージェントの出現が加速している。しかし、既存のベンチマークは、サンドボックス環境や単一ターン評価パラダイムに依存することが多く、このようなエージェントを効果的に評価するのに苦慮している。さらに、そのシナリオベースのタスク分類は、同じタスクカテゴリ内で複数のモデル能力を混在させており、エージェントの失敗の根本原因を特定することを困難にしている。これらの制限に対処するため、我々はUniClawBenchを紹介する。これは、動的な実世界環境においてプロアクティブエージェントを評価するために設計された初の能力駆動型ベンチマークである。UniClawBenchは、5つの基本的なモデル能力（スキル使用、探索、長文脈推論、マルチモーダル理解、クロスプラットフォーム連携）を基盤として構築されている。これらの能力に基づき、我々は400のバイリンガル実世界タスクを設計した。静的な事前記録された回答に依存する従来のベンチマークとは異なり、我々のベンチマークは、詳細なステップバイステップの完了チェックポイントを用いて、ライブのDockerコンテナ内でエージェントを評価する。さらに、我々は実行エージェント、隠れ監督エージェント、ユーザエージェントから構成される閉ループ評価戦略を設計し、評価基準を漏洩させることなく、現実的なマルチターンの人間フィードバックをシミュレートする。ベースモデルの能力とフレームワークレベルの設計選択を切り離すために、我々は複数のエージェントフレームワークの下で最先端モデルを評価する。モデルとフレームワークの両方にわたる包括的な比較を通じて、ベースモデルの能力とエージェントフレームワークの設計が、実世界環境での性能をどのように共同で形成するかを示す。将来の研究を促進するために、我々のベンチマークとコードをhttps://github.com/HKU-MMLab/UniClawBenchで公開している。

English

The rapid development of large language models and multimodal large language models has accelerated the emergence of proactive agents capable of operating everyday tools and assisting users in real-world environments. However, existing benchmarks struggle to evaluate such agents effectively, as they often rely on sandboxed environments and single-turn evaluation paradigms. Moreover, their scenario-based task taxonomies mix multiple model capabilities within the same task category, making it difficult to identify the root causes of agent failures. To address these limitations, we introduce UniClawBench, the first capability-driven benchmark designed to evaluate proactive agents in dynamic, real-world settings. UniClawBench is built around five foundational model capabilities: Skill Usage, Exploration, Long-Context Reasoning, Multimodal Understanding, and Cross-Platform Coordination. Based on these capabilities, we design 400 bilingual real-world tasks. Unlike previous benchmarks that rely on static, pre-recorded answers, our benchmark evaluates agents in live Docker containers using fine-grained, step-by-step completion checkpoints. Furthermore, we design a closed-loop evaluation strategy comprising an executor agent, a hidden supervisor agent, and a user agent to simulate realistic multi-turn human feedback without leaking grading criteria. To disentangle base model capabilities from framework-level design choices, we evaluate state-of-the-art models under multiple agent frameworks. Through comprehensive comparisons across both models and frameworks, we show how base model capabilities and agent framework designs jointly shape performance in real-world environments. To facilitate future research, we make our benchmark and code publicly available at https://github.com/HKU-MMLab/UniClawBench.