UniClawBench: 실제 작업을 위한 능동적 에이전트의 범용 벤치마크

초록

대규모 언어 모델과 멀티모달 대규모 언어 모델의 급속한 발전은 일상 도구를 조작하고 실제 환경에서 사용자를 지원할 수 있는 능동적 에이전트의 등장을 가속화했습니다. 그러나 기존 벤치마크는 샌드박스 환경과 단일 턴 평가 패러다임에 의존하는 경우가 많아 이러한 에이전트를 효과적으로 평가하는 데 어려움을 겪고 있습니다. 또한 시나리오 기반 작업 분류 체계는 동일한 작업 범주 내에서 여러 모델 능력을 혼합하여 에이전트 실패의 근본 원인을 식별하기 어렵게 만듭니다. 이러한 한계를 해결하기 위해, 우리는 동적 실제 환경에서 능동적 에이전트를 평가하도록 설계된 최초의 능력 기반 벤치마크인 UniClawBench를 소개합니다. UniClawBench는 기술 사용, 탐색, 긴 맥락 추론, 멀티모달 이해, 플랫폼 간 조정이라는 다섯 가지 기본 모델 능력을 중심으로 구축되었습니다. 이러한 능력을 기반으로 400개의 이중 언어 실제 작업을 설계했습니다. 정적이고 사전 녹음된 답변에 의존하는 이전 벤치마크와 달리, 우리의 벤치마크는 세분화된 단계별 완료 체크포인트를 사용하여 라이브 Docker 컨테이너에서 에이전트를 평가합니다. 또한, 평가 기준을 노출하지 않으면서 현실적인 다중 턴 인간 피드백을 시뮬레이션하기 위해 실행 에이전트, 숨겨진 감독 에이전트 및 사용자 에이전트로 구성된 폐루프 평가 전략을 설계했습니다. 기본 모델 능력과 프레임워크 수준 설계 선택을 분리하기 위해, 우리는 여러 에이전트 프레임워크에서 최첨단 모델을 평가합니다. 모델과 프레임워크에 대한 포괄적인 비교를 통해 기본 모델 능력과 에이전트 프레임워크 설계가 실제 환경에서 성능을 어떻게 공동으로 결정하는지 보여줍니다. 향후 연구를 촉진하기 위해, 벤치마크와 코드를 https://github.com/HKU-MMLab/UniClawBench에서 공개적으로 제공합니다.

English

The rapid development of large language models and multimodal large language models has accelerated the emergence of proactive agents capable of operating everyday tools and assisting users in real-world environments. However, existing benchmarks struggle to evaluate such agents effectively, as they often rely on sandboxed environments and single-turn evaluation paradigms. Moreover, their scenario-based task taxonomies mix multiple model capabilities within the same task category, making it difficult to identify the root causes of agent failures. To address these limitations, we introduce UniClawBench, the first capability-driven benchmark designed to evaluate proactive agents in dynamic, real-world settings. UniClawBench is built around five foundational model capabilities: Skill Usage, Exploration, Long-Context Reasoning, Multimodal Understanding, and Cross-Platform Coordination. Based on these capabilities, we design 400 bilingual real-world tasks. Unlike previous benchmarks that rely on static, pre-recorded answers, our benchmark evaluates agents in live Docker containers using fine-grained, step-by-step completion checkpoints. Furthermore, we design a closed-loop evaluation strategy comprising an executor agent, a hidden supervisor agent, and a user agent to simulate realistic multi-turn human feedback without leaking grading criteria. To disentangle base model capabilities from framework-level design choices, we evaluate state-of-the-art models under multiple agent frameworks. Through comprehensive comparisons across both models and frameworks, we show how base model capabilities and agent framework designs jointly shape performance in real-world environments. To facilitate future research, we make our benchmark and code publicly available at https://github.com/HKU-MMLab/UniClawBench.