EWMBench: Valutazione della Qualità della Scena, del Movimento e della Semantica nei Modelli di Mondo Embodied

EWMBench: Evaluating Scene, Motion, and Semantic Quality in Embodied World Models

May 14, 2025

Autori: Hu Yue, Siyuan Huang, Yue Liao, Shengcong Chen, Pengfei Zhou, Liliang Chen, Maoqing Yao, Guanghui Ren

cs.AI

Abstract

I recenti progressi nell'IA creativa hanno reso possibile la sintesi di immagini e video ad alta fedeltà condizionati da istruzioni linguistiche. Sulla base di questi sviluppi, i modelli di diffusione testo-video si sono evoluti in modelli di mondo incarnati (EWM, Embodied World Models) in grado di generare scene fisicamente plausibili da comandi linguistici, colmando efficacemente il divario tra visione e azione nelle applicazioni di IA incarnata. Questo lavoro affronta la sfida cruciale di valutare gli EWM oltre le metriche percettive generali, per garantire la generazione di comportamenti fisicamente fondati e coerenti con l'azione. Proponiamo l'Embodied World Model Benchmark (EWMBench), un framework dedicato progettato per valutare gli EWM in base a tre aspetti chiave: coerenza della scena visiva, correttezza del movimento e allineamento semantico. Il nostro approccio si avvale di un dataset accuratamente curato che comprende scene e pattern di movimento diversificati, insieme a un toolkit di valutazione multidimensionale completo, per valutare e confrontare i modelli candidati. Il benchmark proposto non solo identifica i limiti dei modelli esistenti di generazione video nel soddisfare i requisiti unici dei task incarnati, ma fornisce anche preziose indicazioni per guidare i futuri progressi nel campo. Il dataset e gli strumenti di valutazione sono disponibili pubblicamente all'indirizzo https://github.com/AgibotTech/EWMBench.

English

Recent advances in creative AI have enabled the synthesis of high-fidelity images and videos conditioned on language instructions. Building on these developments, text-to-video diffusion models have evolved into embodied world models (EWMs) capable of generating physically plausible scenes from language commands, effectively bridging vision and action in embodied AI applications. This work addresses the critical challenge of evaluating EWMs beyond general perceptual metrics to ensure the generation of physically grounded and action-consistent behaviors. We propose the Embodied World Model Benchmark (EWMBench), a dedicated framework designed to evaluate EWMs based on three key aspects: visual scene consistency, motion correctness, and semantic alignment. Our approach leverages a meticulously curated dataset encompassing diverse scenes and motion patterns, alongside a comprehensive multi-dimensional evaluation toolkit, to assess and compare candidate models. The proposed benchmark not only identifies the limitations of existing video generation models in meeting the unique requirements of embodied tasks but also provides valuable insights to guide future advancements in the field. The dataset and evaluation tools are publicly available at https://github.com/AgibotTech/EWMBench.