EWMBench : Évaluation de la qualité scénique, motrice et sémantique dans les modèles de monde incarnés

EWMBench: Evaluating Scene, Motion, and Semantic Quality in Embodied World Models

May 14, 2025

Auteurs: Hu Yue, Siyuan Huang, Yue Liao, Shengcong Chen, Pengfei Zhou, Liliang Chen, Maoqing Yao, Guanghui Ren

cs.AI

Résumé

Les récentes avancées dans l'IA créative ont permis la synthèse d'images et de vidéos haute fidélité conditionnées par des instructions linguistiques. S'appuyant sur ces développements, les modèles de diffusion texte-vidéo ont évolué en modèles de monde incarné (EWMs, Embodied World Models) capables de générer des scènes physiquement plausibles à partir de commandes linguistiques, établissant ainsi un pont entre la vision et l'action dans les applications d'IA incarnée. Ce travail aborde le défi critique de l'évaluation des EWMs au-delà des métriques perceptuelles générales, afin de garantir la génération de comportements physiquement fondés et cohérents avec l'action. Nous proposons l'Embodied World Model Benchmark (EWMBench), un cadre dédié conçu pour évaluer les EWMs selon trois aspects clés : la cohérence visuelle des scènes, la correction des mouvements et l'alignement sémantique. Notre approche s'appuie sur un ensemble de données soigneusement sélectionné, couvrant des scènes et des motifs de mouvement variés, ainsi qu'une boîte à outils d'évaluation multidimensionnelle complète, pour évaluer et comparer les modèles candidats. Le benchmark proposé identifie non seulement les limites des modèles existants de génération vidéo à répondre aux exigences uniques des tâches incarnées, mais offre également des insights précieux pour guider les avancées futures dans ce domaine. L'ensemble de données et les outils d'évaluation sont disponibles publiquement à l'adresse suivante : https://github.com/AgibotTech/EWMBench.

English

Recent advances in creative AI have enabled the synthesis of high-fidelity images and videos conditioned on language instructions. Building on these developments, text-to-video diffusion models have evolved into embodied world models (EWMs) capable of generating physically plausible scenes from language commands, effectively bridging vision and action in embodied AI applications. This work addresses the critical challenge of evaluating EWMs beyond general perceptual metrics to ensure the generation of physically grounded and action-consistent behaviors. We propose the Embodied World Model Benchmark (EWMBench), a dedicated framework designed to evaluate EWMs based on three key aspects: visual scene consistency, motion correctness, and semantic alignment. Our approach leverages a meticulously curated dataset encompassing diverse scenes and motion patterns, alongside a comprehensive multi-dimensional evaluation toolkit, to assess and compare candidate models. The proposed benchmark not only identifies the limitations of existing video generation models in meeting the unique requirements of embodied tasks but also provides valuable insights to guide future advancements in the field. The dataset and evaluation tools are publicly available at https://github.com/AgibotTech/EWMBench.