EWMBench: Bewertung der Szenen-, Bewegungs- und semantischen Qualität in verkörperten Weltmodellen

EWMBench: Evaluating Scene, Motion, and Semantic Quality in Embodied World Models

May 14, 2025

Autoren: Hu Yue, Siyuan Huang, Yue Liao, Shengcong Chen, Pengfei Zhou, Liliang Chen, Maoqing Yao, Guanghui Ren

cs.AI

Zusammenfassung

Jüngste Fortschritte in der kreativen KI haben die Synthese von hochauflösenden Bildern und Videos ermöglicht, die auf Sprachanweisungen basieren. Aufbauend auf diesen Entwicklungen haben sich Text-zu-Video-Diffusionsmodelle zu verkörperten Weltmodellen (Embodied World Models, EWMs) weiterentwickelt, die in der Lage sind, physikalisch plausible Szenen aus Sprachbefehlen zu generieren und so Vision und Handlung in verkörperten KI-Anwendungen effektiv zu verbinden. Diese Arbeit befasst sich mit der kritischen Herausforderung, EWMs über allgemeine Wahrnehmungsmetriken hinaus zu bewerten, um die Erzeugung von physikalisch fundierten und handlungskonsistenten Verhaltensweisen sicherzustellen. Wir schlagen den Embodied World Model Benchmark (EWMBench) vor, ein speziell entwickeltes Framework, das EWMs anhand von drei Schlüsselaspekten bewertet: visuelle Szenenkonsistenz, Bewegungsrichtigkeit und semantische Ausrichtung. Unser Ansatz nutzt einen sorgfältig kuratierten Datensatz, der vielfältige Szenen und Bewegungsmuster umfasst, sowie ein umfassendes mehrdimensionales Bewertungstoolkit, um Kandidatenmodelle zu bewerten und zu vergleichen. Der vorgeschlagene Benchmark identifiziert nicht nur die Grenzen bestehender Videogenerationsmodelle bei der Erfüllung der einzigartigen Anforderungen verkörperter Aufgaben, sondern liefert auch wertvolle Erkenntnisse, um zukünftige Fortschritte in diesem Bereich zu leiten. Der Datensatz und die Bewertungstools sind öffentlich verfügbar unter https://github.com/AgibotTech/EWMBench.

English

Recent advances in creative AI have enabled the synthesis of high-fidelity images and videos conditioned on language instructions. Building on these developments, text-to-video diffusion models have evolved into embodied world models (EWMs) capable of generating physically plausible scenes from language commands, effectively bridging vision and action in embodied AI applications. This work addresses the critical challenge of evaluating EWMs beyond general perceptual metrics to ensure the generation of physically grounded and action-consistent behaviors. We propose the Embodied World Model Benchmark (EWMBench), a dedicated framework designed to evaluate EWMs based on three key aspects: visual scene consistency, motion correctness, and semantic alignment. Our approach leverages a meticulously curated dataset encompassing diverse scenes and motion patterns, alongside a comprehensive multi-dimensional evaluation toolkit, to assess and compare candidate models. The proposed benchmark not only identifies the limitations of existing video generation models in meeting the unique requirements of embodied tasks but also provides valuable insights to guide future advancements in the field. The dataset and evaluation tools are publicly available at https://github.com/AgibotTech/EWMBench.