MemoBench: Benchmarking der Weltmodellierung in dynamisch veränderlichen Umgebungen

Zusammenfassung

Videogenerierungsmodelle streben danach, dynamische Umgebungen zu simulieren, und mehrere Benchmarks bewerten inzwischen die Gedächtniskonsistenz über Einzelbilder hinweg. Allerdings bewerten die meisten die Konsistenz nur, solange das Zielobjekt sichtbar bleibt, und die wenigen, die Objekte aus dem Sichtfeld zwingen, evaluieren statische Szenen, in denen sich während der Verdeckung nichts ändert. Um diese Lücke zu schließen, stellen wir MemoBench vor, einen diagnostischen Benchmark, der auf dem Paradigma des Verschwindens und Wiederauftauchens in sich dynamisch verändernden Umgebungen basiert: Ein Zielobjekt durchläuft einen physikalischen Prozess, verschwindet aus dem Blickfeld und muss bei seinem Wiederauftauchen korrekt in seinem aktualisierten Zustand wiederhergestellt werden. Wir kuratieren 360 Ground-Truth-Clips, die synthetische und reale Szenen umfassen, und entwerfen eine Evaluierungssuite, die automatisierte Metriken mit VQA-basierter Bewertung über vier diagnostische Säulen hinweg kombiniert. Die Evaluierung von acht hochmodernen Modellen offenbart zentrale Erkenntnisse und offene Herausforderungen in Bezug auf die Gedächtniskonsistenz unter dem Paradigma des Verschwindens und Wiederauftauchens.

English

Video generation models aspire to simulate dynamic environments, and several benchmarks now evaluate memory consistency across frames. However, most assess consistency only while the target remains in view, and the few that force objects out of view evaluate static scenes where nothing changes during occlusion. To bridge this gap, we introduce MemoBench, a diagnostic benchmark built around the disappear-and-reappear paradigm in dynamically changing environments: a target object undergoes a physical process, disappears from view, and must be correctly recovered in its updated state upon reappearance. We curate 360 ground-truth clips spanning synthetic and real-world scenes, and design an evaluation suite combining automated metrics with VQA-based assessment across four diagnostic pillars. Evaluation of eight state-of-the-art models reveals key insights and open challenges regarding memory consistency under the disappear-and-reappear paradigm.