WorldSimBench：ビデオ生成モデルを世界シミュレータとして目指して

WorldSimBench: Towards Video Generation Models as World Simulators

October 23, 2024

著者: Yiran Qin, Zhelun Shi, Jiwen Yu, Xijun Wang, Enshen Zhou, Lijun Li, Zhenfei Yin, Xihui Liu, Lu Sheng, Jing Shao, Lei Bai, Wanli Ouyang, Ruimao Zhang

cs.AI

要旨

予測モデルの最近の進歩は、物体やシーンの将来の状態を予測する際に卓越した能力を示しています。しかし、固有の特性に基づく分類の欠如は、予測モデルの開発の進展を妨げ続けています。さらに、既存のベンチマークは、具体的な視点から高い能力を持つ具体的な予測モデルを効果的に評価することができません。本研究では、予測モデルの機能を階層的に分類し、World Simulatorsを評価するための二重評価フレームワークであるWorldSimBenchを提案することで、初めて一歩を踏み出します。WorldSimBenchには、視覚的視点からの人間の好み評価と具体的なタスクにおける行動レベルの評価を包括する明示的知覚評価と暗黙的操作評価が含まれており、オープンエンドの具体的環境、自律走行、およびロボット操作という3つの代表的な具体的シナリオがカバーされています。明示的知覚評価では、微細な人間のフィードバックに基づくビデオ評価データセットであるHF-Embodied Datasetを導入し、これを使用して人間の知覚に合致し、World Simulatorsの視覚的忠実度を明示的に評価するHuman Preference Evaluatorをトレーニングします。暗黙的操作評価では、World Simulatorsのビデオアクションの一貫性を評価し、生成された状況認識ビデオが動的環境で正確に制御信号に変換できるかどうかを評価します。私たちの包括的な評価は、ビデオ生成モデルにさらなる革新をもたらす可能性のある重要な洞察を提供し、World Simulatorsを具体的な人工知能への画期的な進歩と位置付けます。

English

Recent advancements in predictive models have demonstrated exceptional capabilities in predicting the future state of objects and scenes. However, the lack of categorization based on inherent characteristics continues to hinder the progress of predictive model development. Additionally, existing benchmarks are unable to effectively evaluate higher-capability, highly embodied predictive models from an embodied perspective. In this work, we classify the functionalities of predictive models into a hierarchy and take the first step in evaluating World Simulators by proposing a dual evaluation framework called WorldSimBench. WorldSimBench includes Explicit Perceptual Evaluation and Implicit Manipulative Evaluation, encompassing human preference assessments from the visual perspective and action-level evaluations in embodied tasks, covering three representative embodied scenarios: Open-Ended Embodied Environment, Autonomous, Driving, and Robot Manipulation. In the Explicit Perceptual Evaluation, we introduce the HF-Embodied Dataset, a video assessment dataset based on fine-grained human feedback, which we use to train a Human Preference Evaluator that aligns with human perception and explicitly assesses the visual fidelity of World Simulators. In the Implicit Manipulative Evaluation, we assess the video-action consistency of World Simulators by evaluating whether the generated situation-aware video can be accurately translated into the correct control signals in dynamic environments. Our comprehensive evaluation offers key insights that can drive further innovation in video generation models, positioning World Simulators as a pivotal advancement toward embodied artificial intelligence.