Een Benchmark voor Interactieve Wereldmodellen met een Uniform Actiegeneratiekader
A Benchmark for Interactive World Models with a Unified Action Generation Framework
May 5, 2026
Auteurs: Jianjie Fang, Yingshan Lei, Qin Wan, Ziyou Wang, Yuchao Huang, Yongyan Xu, Baining Zhao, Weichen Zhang, Chen Gao, Xinlei Chen, Yong Li
cs.AI
Samenvatting
Het bereiken van Artificiële Algemene Intelligentie (AGI) vereist agents die adaptief leren en interacteren, waarbij interactieve wereldmodellen schaalbare omgevingen bieden voor perceptie, redeneren en handeling. Desalniettemin ontbreekt het huidig onderzoek nog aan grootschalige datasets en gestandaardiseerde benchmarks om hun fysieke interactiecapaciteiten te evalueren. Om dit aan te pakken, stellen we iWorld-Bench voor, een uitgebreide benchmark voor het trainen en testen van wereldmodellen op interactiegerelateerde vaardigheden zoals afstandsperceptie en geheugen. We construeren een diverse dataset met 330k videofragmenten en selecteren 2.1k hoogwaardige samples die diverse perspectieven, weersomstandigheden en scènes omvatten. Aangezien bestaande wereldmodellen verschillen in interactiemodaliteiten, introduceren we een Actiegeneratieraamwerk om evaluatie te standaardiseren en ontwerpen we zes taaktypen, waarmee 4.9k testsamples gegenereerd worden. Deze taken beoordelen gezamenlijk modelprestaties op visuele generatie, trajectvolging en geheugen. Door evaluatie van 14 representatieve wereldmodellen identificeren we cruciale beperkingen en bieden we inzichten voor toekomstig onderzoek. Het iWorld-Bench modelleaderboard is openbaar toegankelijk op iWorld-Bench.com.
English
Achieving Artificial General Intelligence (AGI) requires agents that learn and interact adaptively, with interactive world models providing scalable environments for perception, reasoning, and action. Yet current research still lacks large-scale datasets and unified benchmarks to evaluate their physical interaction capabilities. To address this, we propose iWorld-Bench, a comprehensive benchmark for training and testing world models on interaction-related abilities such as distance perception and memory. We construct a diverse dataset with 330k video clips and select 2.1k high-quality samples covering varied perspectives, weather, and scenes. As existing world models differ in interaction modalities, we introduce an Action Generation Framework to unify evaluation and design six task types, generating 4.9k test samples. These tasks jointly assess model performance across visual generation, trajectory following, and memory. Evaluating 14 representative world models, we identify key limitations and provide insights for future research. The iWorld-Bench model leaderboard is publicly available at iWorld-Bench.com.