WorldSimBench: Rumo a Modelos de Geração de Vídeo como Simuladores de Mundo

WorldSimBench: Towards Video Generation Models as World Simulators

October 23, 2024

Autores: Yiran Qin, Zhelun Shi, Jiwen Yu, Xijun Wang, Enshen Zhou, Lijun Li, Zhenfei Yin, Xihui Liu, Lu Sheng, Jing Shao, Lei Bai, Wanli Ouyang, Ruimao Zhang

cs.AI

Resumo

Avanços recentes em modelos preditivos têm demonstrado capacidades excepcionais na previsão do estado futuro de objetos e cenas. No entanto, a falta de categorização com base em características inerentes continua a dificultar o progresso no desenvolvimento de modelos preditivos. Além disso, benchmarks existentes não conseguem avaliar de forma eficaz modelos preditivos de alta capacidade e altamente incorporados de uma perspectiva incorporada. Neste trabalho, classificamos as funcionalidades de modelos preditivos em uma hierarquia e damos o primeiro passo na avaliação de Simuladores de Mundo, propondo um framework de avaliação duplo chamado WorldSimBench. O WorldSimBench inclui Avaliação Perceptual Explícita e Avaliação Manipulativa Implícita, abrangendo avaliações de preferência humana da perspectiva visual e avaliações em nível de ação em tarefas incorporadas, cobrindo três cenários incorporados representativos: Ambiente Incorporado de Final Aberto, Direção Autônoma e Manipulação de Robôs. Na Avaliação Perceptual Explícita, introduzimos o Conjunto de Dados HF-Incorporado, um conjunto de dados de avaliação de vídeo com base em feedback humano detalhado, que usamos para treinar um Avaliador de Preferência Humana que se alinha com a percepção humana e avalia explicitamente a fidelidade visual dos Simuladores de Mundo. Na Avaliação Manipulativa Implícita, avaliamos a consistência vídeo-ação dos Simuladores de Mundo, avaliando se o vídeo gerado, consciente da situação, pode ser traduzido com precisão nos sinais de controle corretos em ambientes dinâmicos. Nossa avaliação abrangente oferece insights importantes que podem impulsionar inovações futuras em modelos de geração de vídeo, posicionando os Simuladores de Mundo como um avanço crucial em direção à inteligência artificial incorporada.

English

Recent advancements in predictive models have demonstrated exceptional capabilities in predicting the future state of objects and scenes. However, the lack of categorization based on inherent characteristics continues to hinder the progress of predictive model development. Additionally, existing benchmarks are unable to effectively evaluate higher-capability, highly embodied predictive models from an embodied perspective. In this work, we classify the functionalities of predictive models into a hierarchy and take the first step in evaluating World Simulators by proposing a dual evaluation framework called WorldSimBench. WorldSimBench includes Explicit Perceptual Evaluation and Implicit Manipulative Evaluation, encompassing human preference assessments from the visual perspective and action-level evaluations in embodied tasks, covering three representative embodied scenarios: Open-Ended Embodied Environment, Autonomous, Driving, and Robot Manipulation. In the Explicit Perceptual Evaluation, we introduce the HF-Embodied Dataset, a video assessment dataset based on fine-grained human feedback, which we use to train a Human Preference Evaluator that aligns with human perception and explicitly assesses the visual fidelity of World Simulators. In the Implicit Manipulative Evaluation, we assess the video-action consistency of World Simulators by evaluating whether the generated situation-aware video can be accurately translated into the correct control signals in dynamic environments. Our comprehensive evaluation offers key insights that can drive further innovation in video generation models, positioning World Simulators as a pivotal advancement toward embodied artificial intelligence.