Ein Benchmark für interaktive Weltmodelle mit einem einheitlichen Aktionsgenerierungsrahmenwerk
A Benchmark for Interactive World Models with a Unified Action Generation Framework
May 5, 2026
Autoren: Jianjie Fang, Yingshan Lei, Qin Wan, Ziyou Wang, Yuchao Huang, Yongyan Xu, Baining Zhao, Weichen Zhang, Chen Gao, Xinlei Chen, Yong Li
cs.AI
Zusammenfassung
Die Verwirklichung von Künstlicher Allgemeiner Intelligenz (AGI) erfordert Agenten, die adaptiv lernen und interagieren, wobei interaktive Weltmodelle skalierbare Umgebungen für Wahrnehmung, Schlussfolgerung und Handlung bereitstellen. Dennoch mangelt es der aktuellen Forschung nach wie vor an groß angelegten Datensätzen und einheitlichen Benchmarks, um deren physikalische Interaktionsfähigkeiten zu bewerten. Um dies zu adressieren, schlagen wir iWorld-Bench vor, einen umfassenden Benchmark für das Training und Testen von Weltmodellen hinsichtlich interaktionsbezogener Fähigkeiten wie Distanzwahrnehmung und Gedächtnis. Wir konstruieren einen diversen Datensatz mit 330.000 Videoclips und wählen 2.100 hochwertige Beispiele aus, die verschiedene Perspektiven, Wetterbedingungen und Szenen abdecken. Da sich bestehende Weltmodelle in ihren Interaktionsmodalitäten unterscheiden, führen wir ein Aktionsgenerierungs-Framework ein, um die Bewertung zu vereinheitlichen, und entwerfen sechs Aufgabentypen, die 4.900 Testbeispiele generieren. Diese Aufgaben bewerten gemeinsam die Modellleistung in den Bereichen visuelle Generierung, Trajektorienverfolgung und Gedächtnis. Durch die Evaluierung von 14 repräsentativen Weltmodellen identifizieren wir zentrale Limitationen und liefern Erkenntnisse für zukünftige Forschung. Die iWorld-Bench Modell-Rangliste ist öffentlich unter iWorld-Bench.com verfügbar.
English
Achieving Artificial General Intelligence (AGI) requires agents that learn and interact adaptively, with interactive world models providing scalable environments for perception, reasoning, and action. Yet current research still lacks large-scale datasets and unified benchmarks to evaluate their physical interaction capabilities. To address this, we propose iWorld-Bench, a comprehensive benchmark for training and testing world models on interaction-related abilities such as distance perception and memory. We construct a diverse dataset with 330k video clips and select 2.1k high-quality samples covering varied perspectives, weather, and scenes. As existing world models differ in interaction modalities, we introduce an Action Generation Framework to unify evaluation and design six task types, generating 4.9k test samples. These tasks jointly assess model performance across visual generation, trajectory following, and memory. Evaluating 14 representative world models, we identify key limitations and provide insights for future research. The iWorld-Bench model leaderboard is publicly available at iWorld-Bench.com.