통합 행동 생성 프레임워크를 갖춘 인터랙티브 월드 모델 벤치마크

초록

인공 일반 지능(AGI)을 달성하기 위해서는 적응적으로 학습하고 상호작용하는 에이전트가 필요하며, 상호작용형 월드 모델은 지각, 추론, 행동을 위한 확장 가능한 환경을 제공합니다. 그러나 현재 연구는 여전히 물리적 상호작용 능력을 평가할 대규모 데이터셋과 통합 벤치마크가 부족합니다. 이를 해결하기 위해 우리는 거리 인식 및 기억과 같은 상호작용 관련 능력에 대한 월드 모델의 훈련 및 테스트를 위한 포괄적 벤치마크인 iWorld-Bench를 제안합니다. 우리는 33만 개의 비디오 클립으로 구성된 다양한 데이터셋을 구축하고 다양한 시점, 날씨, 장면을 아우르는 2,100개의 고품질 샘플을 선별했습니다. 기존 월드 모델들은 상호작용 양식이 다르기 때문에 평가를 통일하기 위한 행동 생성 프레임워크를 도입하고 6가지 작업 유형을 설계하여 4,900개의 테스트 샘플을 생성했습니다. 이러한 작업들은 시각적 생성, 궤적 추종, 기억에 걸친 모델 성능을 종합적으로 평가합니다. 대표적인 월드 모델 14개를 평가하여 주요 한계점을 확인하고 향후 연구를 위한 통찰을 제공합니다. iWorld-Bench 모델 리더보드는 iWorld-Bench.com에서 공개적으로 확인할 수 있습니다.

English

Achieving Artificial General Intelligence (AGI) requires agents that learn and interact adaptively, with interactive world models providing scalable environments for perception, reasoning, and action. Yet current research still lacks large-scale datasets and unified benchmarks to evaluate their physical interaction capabilities. To address this, we propose iWorld-Bench, a comprehensive benchmark for training and testing world models on interaction-related abilities such as distance perception and memory. We construct a diverse dataset with 330k video clips and select 2.1k high-quality samples covering varied perspectives, weather, and scenes. As existing world models differ in interaction modalities, we introduce an Action Generation Framework to unify evaluation and design six task types, generating 4.9k test samples. These tasks jointly assess model performance across visual generation, trajectory following, and memory. Evaluating 14 representative world models, we identify key limitations and provide insights for future research. The iWorld-Bench model leaderboard is publicly available at iWorld-Bench.com.

통합 행동 생성 프레임워크를 갖춘 인터랙티브 월드 모델 벤치마크

A Benchmark for Interactive World Models with a Unified Action Generation Framework

초록

Support