MemoBench: Бенчмаркинг моделирования мира в динамически изменяющихся средах

Аннотация

Модели генерации видео стремятся моделировать динамические среды, и несколько эталонных тестов теперь оценивают согласованность памяти между кадрами. Однако большинство из них проверяют согласованность только пока объект остается в поле зрения, а те немногие, что заставляют объекты выходить из поля зрения, оценивают статические сцены, в которых во время сокрытия ничего не меняется. Чтобы восполнить этот пробел, мы представляем MemoBench — диагностический эталон, построенный на парадигме исчезновения и повторного появления в динамически изменяющихся средах: целевой объект подвергается физическому процессу, исчезает из поля зрения и должен быть правильно восстановлен в своем обновленном состоянии при повторном появлении. Мы отобрали 360 эталонных клипов, охватывающих синтетические и реальные сцены, и разработали набор для оценки, сочетающий автоматические метрики с оценкой на основе VQA по четырем диагностическим столпам. Оценка восьми современных моделей выявила ключевые закономерности и открытые проблемы, касающиеся согласованности памяти в рамках парадигмы исчезновения и повторного появления.

English

Video generation models aspire to simulate dynamic environments, and several benchmarks now evaluate memory consistency across frames. However, most assess consistency only while the target remains in view, and the few that force objects out of view evaluate static scenes where nothing changes during occlusion. To bridge this gap, we introduce MemoBench, a diagnostic benchmark built around the disappear-and-reappear paradigm in dynamically changing environments: a target object undergoes a physical process, disappears from view, and must be correctly recovered in its updated state upon reappearance. We curate 360 ground-truth clips spanning synthetic and real-world scenes, and design an evaluation suite combining automated metrics with VQA-based assessment across four diagnostic pillars. Evaluation of eight state-of-the-art models reveals key insights and open challenges regarding memory consistency under the disappear-and-reappear paradigm.