MemoBench: Evaluación comparativa del modelado del mundo en entornos dinámicamente cambiantes

Resumen

Los modelos de generación de video aspiran a simular entornos dinámicos, y varios puntos de referencia evalúan actualmente la consistencia de la memoria entre fotogramas. Sin embargo, la mayoría solo evalúa la consistencia mientras el objetivo permanece a la vista, y los pocos que fuerzan la salida de objetos del campo visual se limitan a escenas estáticas donde nada cambia durante la oclusión. Para abordar esta brecha, presentamos MemoBench, un punto de referencia de diagnóstico construido en torno al paradigma de desaparición y reaparición en entornos dinámicamente cambiantes: un objeto objetivo experimenta un proceso físico, desaparece de la vista y debe ser recuperado correctamente en su estado actualizado al reaparecer. Seleccionamos 360 secuencias de referencia que abarcan escenas sintéticas y del mundo real, y diseñamos un conjunto de evaluación que combina métricas automatizadas con evaluación basada en VQA a lo largo de cuatro pilares de diagnóstico. La evaluación de ocho modelos de vanguardia revela hallazgos clave y desafíos abiertos en cuanto a la consistencia de la memoria bajo el paradigma de desaparición y reaparición.

English

Video generation models aspire to simulate dynamic environments, and several benchmarks now evaluate memory consistency across frames. However, most assess consistency only while the target remains in view, and the few that force objects out of view evaluate static scenes where nothing changes during occlusion. To bridge this gap, we introduce MemoBench, a diagnostic benchmark built around the disappear-and-reappear paradigm in dynamically changing environments: a target object undergoes a physical process, disappears from view, and must be correctly recovered in its updated state upon reappearance. We curate 360 ground-truth clips spanning synthetic and real-world scenes, and design an evaluation suite combining automated metrics with VQA-based assessment across four diagnostic pillars. Evaluation of eight state-of-the-art models reveals key insights and open challenges regarding memory consistency under the disappear-and-reappear paradigm.