WorldSimBench: Verso modelli di generazione video come simulatori del mondo

WorldSimBench: Towards Video Generation Models as World Simulators

October 23, 2024

Autori: Yiran Qin, Zhelun Shi, Jiwen Yu, Xijun Wang, Enshen Zhou, Lijun Li, Zhenfei Yin, Xihui Liu, Lu Sheng, Jing Shao, Lei Bai, Wanli Ouyang, Ruimao Zhang

cs.AI

Abstract

I recenti progressi nei modelli predittivi hanno dimostrato capacità eccezionali nel prevedere lo stato futuro degli oggetti e delle scene. Tuttavia, la mancanza di categorizzazione basata su caratteristiche intrinseche continua a ostacolare il progresso nello sviluppo dei modelli predittivi. Inoltre, i benchmark esistenti non sono in grado di valutare efficacemente modelli predittivi ad alta capacità e altamente incorporati da una prospettiva incorporata. In questo lavoro, classifichiamo le funzionalità dei modelli predittivi in una gerarchia e compiamo il primo passo nella valutazione dei Simulatori del Mondo proponendo un framework di valutazione duale chiamato WorldSimBench. WorldSimBench include Valutazione Percettiva Esplicita e Valutazione Manipolativa Implicita, che comprendono valutazioni delle preferenze umane dalla prospettiva visiva e valutazioni a livello di azione in compiti incorporati, coprendo tre scenari incorporati rappresentativi: Ambiente Incorporato a Scopo Aperto, Guida Autonoma e Manipolazione di Robot. Nella Valutazione Percettiva Esplicita, introduciamo l'HF-Embodied Dataset, un dataset di valutazione video basato su feedback umani dettagliati, che utilizziamo per addestrare un Valutatore delle Preferenze Umane che si allinea con la percezione umana e valuta esplicitamente la fedeltà visiva dei Simulatori del Mondo. Nella Valutazione Manipolativa Implicita, valutiamo la coerenza video-azione dei Simulatori del Mondo valutando se il video consapevole della situazione generato possa essere tradotto accuratamente nei segnali di controllo corretti in ambienti dinamici. La nostra valutazione completa offre importanti intuizioni che possono guidare ulteriori innovazioni nei modelli di generazione video, posizionando i Simulatori del Mondo come un avanzamento cruciale verso un'intelligenza artificiale incorporata.

English

Recent advancements in predictive models have demonstrated exceptional capabilities in predicting the future state of objects and scenes. However, the lack of categorization based on inherent characteristics continues to hinder the progress of predictive model development. Additionally, existing benchmarks are unable to effectively evaluate higher-capability, highly embodied predictive models from an embodied perspective. In this work, we classify the functionalities of predictive models into a hierarchy and take the first step in evaluating World Simulators by proposing a dual evaluation framework called WorldSimBench. WorldSimBench includes Explicit Perceptual Evaluation and Implicit Manipulative Evaluation, encompassing human preference assessments from the visual perspective and action-level evaluations in embodied tasks, covering three representative embodied scenarios: Open-Ended Embodied Environment, Autonomous, Driving, and Robot Manipulation. In the Explicit Perceptual Evaluation, we introduce the HF-Embodied Dataset, a video assessment dataset based on fine-grained human feedback, which we use to train a Human Preference Evaluator that aligns with human perception and explicitly assesses the visual fidelity of World Simulators. In the Implicit Manipulative Evaluation, we assess the video-action consistency of World Simulators by evaluating whether the generated situation-aware video can be accurately translated into the correct control signals in dynamic environments. Our comprehensive evaluation offers key insights that can drive further innovation in video generation models, positioning World Simulators as a pivotal advancement toward embodied artificial intelligence.