WorldSimBench: Hacia Modelos de Generación de Video como Simuladores del Mundo

WorldSimBench: Towards Video Generation Models as World Simulators

October 23, 2024

Autores: Yiran Qin, Zhelun Shi, Jiwen Yu, Xijun Wang, Enshen Zhou, Lijun Li, Zhenfei Yin, Xihui Liu, Lu Sheng, Jing Shao, Lei Bai, Wanli Ouyang, Ruimao Zhang

cs.AI

Resumen

Los avances recientes en modelos predictivos han demostrado capacidades excepcionales para predecir el estado futuro de objetos y escenas. Sin embargo, la falta de categorización basada en características inherentes continúa obstaculizando el progreso en el desarrollo de modelos predictivos. Además, los benchmarks existentes no pueden evaluar de manera efectiva modelos predictivos de alta capacidad y altamente incorporados desde una perspectiva incorporada. En este trabajo, clasificamos las funcionalidades de los modelos predictivos en una jerarquía y damos el primer paso en la evaluación de Simuladores del Mundo proponiendo un marco de evaluación dual llamado WorldSimBench. WorldSimBench incluye Evaluación Perceptual Explícita y Evaluación Manipulativa Implícita, abarcando evaluaciones de preferencia humana desde la perspectiva visual y evaluaciones a nivel de acción en tareas incorporadas, cubriendo tres escenarios incorporados representativos: Entorno Incorporado de Final Abierto, Conducción Autónoma y Manipulación de Robots. En la Evaluación Perceptual Explícita, presentamos el Conjunto de Datos HF-Incorporado, un conjunto de datos de evaluación de video basado en retroalimentación humana detallada, que utilizamos para entrenar un Evaluador de Preferencia Humana que se alinea con la percepción humana y evalúa explícitamente la fidelidad visual de los Simuladores del Mundo. En la Evaluación Manipulativa Implícita, evaluamos la consistencia video-acción de los Simuladores del Mundo al evaluar si el video generado consciente de la situación puede traducirse con precisión en las señales de control correctas en entornos dinámicos. Nuestra evaluación exhaustiva ofrece ideas clave que pueden impulsar una mayor innovación en modelos de generación de video, posicionando a los Simuladores del Mundo como un avance fundamental hacia la inteligencia artificial incorporada.

English

Recent advancements in predictive models have demonstrated exceptional capabilities in predicting the future state of objects and scenes. However, the lack of categorization based on inherent characteristics continues to hinder the progress of predictive model development. Additionally, existing benchmarks are unable to effectively evaluate higher-capability, highly embodied predictive models from an embodied perspective. In this work, we classify the functionalities of predictive models into a hierarchy and take the first step in evaluating World Simulators by proposing a dual evaluation framework called WorldSimBench. WorldSimBench includes Explicit Perceptual Evaluation and Implicit Manipulative Evaluation, encompassing human preference assessments from the visual perspective and action-level evaluations in embodied tasks, covering three representative embodied scenarios: Open-Ended Embodied Environment, Autonomous, Driving, and Robot Manipulation. In the Explicit Perceptual Evaluation, we introduce the HF-Embodied Dataset, a video assessment dataset based on fine-grained human feedback, which we use to train a Human Preference Evaluator that aligns with human perception and explicitly assesses the visual fidelity of World Simulators. In the Implicit Manipulative Evaluation, we assess the video-action consistency of World Simulators by evaluating whether the generated situation-aware video can be accurately translated into the correct control signals in dynamic environments. Our comprehensive evaluation offers key insights that can drive further innovation in video generation models, positioning World Simulators as a pivotal advancement toward embodied artificial intelligence.