Um Benchmark para Modelos de Mundo Interativos com uma Estrutura Unificada de Geração de Ações

Resumo

A obtenção de Inteligência Artificial Geral (IAG) requer agentes que aprendam e interajam de forma adaptativa, sendo que os modelos de mundo interativos fornecem ambientes escaláveis para percepção, raciocínio e ação. No entanto, a investigação atual ainda carece de conjuntos de dados em larga escala e de benchmarks unificados para avaliar as suas capacidades de interação física. Para colmatar esta lacuna, propomos o iWorld-Bench, um benchmark abrangente para treinar e testar modelos de mundo em capacidades relacionadas com a interação, como perceção de distância e memória. Construímos um conjunto de dados diversificado com 330 mil *clips* de vídeo e selecionámos 2,1 mil amostras de alta qualidade que abrangem várias perspetivas, condições meteorológicas e cenários. Uma vez que os modelos de mundo existentes diferem nas modalidades de interação, introduzimos um *Action Generation Framework* para unificar a avaliação e concebemos seis tipos de tarefas, gerando 4,9 mil amostras de teste. Estas tarefas avaliam em conjunto o desempenho dos modelos ao nível da geração visual, do seguimento de trajetórias e da memória. Avaliando 14 modelos de mundo representativos, identificámos limitações-chave e fornecemos perspetivas para investigação futura. O *leaderboard* de modelos do iWorld-Bench está publicamente disponível em iWorld-Bench.com.

English

Achieving Artificial General Intelligence (AGI) requires agents that learn and interact adaptively, with interactive world models providing scalable environments for perception, reasoning, and action. Yet current research still lacks large-scale datasets and unified benchmarks to evaluate their physical interaction capabilities. To address this, we propose iWorld-Bench, a comprehensive benchmark for training and testing world models on interaction-related abilities such as distance perception and memory. We construct a diverse dataset with 330k video clips and select 2.1k high-quality samples covering varied perspectives, weather, and scenes. As existing world models differ in interaction modalities, we introduce an Action Generation Framework to unify evaluation and design six task types, generating 4.9k test samples. These tasks jointly assess model performance across visual generation, trajectory following, and memory. Evaluating 14 representative world models, we identify key limitations and provide insights for future research. The iWorld-Bench model leaderboard is publicly available at iWorld-Bench.com.