Бенчмарк для интерактивных моделей мира с унифицированной системой генерации действий
A Benchmark for Interactive World Models with a Unified Action Generation Framework
May 5, 2026
Авторы: Jianjie Fang, Yingshan Lei, Qin Wan, Ziyou Wang, Yuchao Huang, Yongyan Xu, Baining Zhao, Weichen Zhang, Chen Gao, Xinlei Chen, Yong Li
cs.AI
Аннотация
Достижение искусственного общего интеллекта (ИОИ) требует создания агентов, способных к адаптивному обучению и взаимодействию, при этом интерактивные мировые модели предоставляют масштабируемые среды для восприятия, рассуждений и действий. Однако текущим исследованиям по-прежнему не хватает крупномасштабных наборов данных и унифицированных бенчмарков для оценки их способностей к физическому взаимодействию. Для решения этой проблемы мы предлагаем iWorld-Bench — комплексный бенчмарк для обучения и тестирования мировых моделей на способности к взаимодействию, такие как восприятие расстояния и память. Мы создали разнообразный набор данных, содержащий 330 тыс. видеоклипов, и отобрали 2,1 тыс. высококачественных образцов, охватывающих различные ракурсы, погодные условия и сцены. Поскольку существующие мировые модели различаются по модальностям взаимодействия, мы вводим Фреймворк Генерации Действий для унификации оценки и разрабатываем шесть типов задач, генерируя 4,9 тыс. тестовых образцов. Эти задачи совместно оценивают производительность модели в области визуальной генерации, следования траектории и памяти. Оценив 14 репрезентативных мировых моделей, мы выявили ключевые ограничения и предложили рекомендации для будущих исследований. Рейтинговая таблица моделей iWorld-Bench общедоступна по адресу iWorld-Bench.com.
English
Achieving Artificial General Intelligence (AGI) requires agents that learn and interact adaptively, with interactive world models providing scalable environments for perception, reasoning, and action. Yet current research still lacks large-scale datasets and unified benchmarks to evaluate their physical interaction capabilities. To address this, we propose iWorld-Bench, a comprehensive benchmark for training and testing world models on interaction-related abilities such as distance perception and memory. We construct a diverse dataset with 330k video clips and select 2.1k high-quality samples covering varied perspectives, weather, and scenes. As existing world models differ in interaction modalities, we introduce an Action Generation Framework to unify evaluation and design six task types, generating 4.9k test samples. These tasks jointly assess model performance across visual generation, trajectory following, and memory. Evaluating 14 representative world models, we identify key limitations and provide insights for future research. The iWorld-Bench model leaderboard is publicly available at iWorld-Bench.com.