MemoBench: 동적으로 변화하는 환경에서의 세계 모델링 벤치마크

초록

비디오 생성 모델은 동적 환경을 시뮬레이션하고자 하며, 여러 벤치마크가 프레임 간 메모리 일관성을 평가하고 있다. 그러나 대부분은 목표 객체가 시야에 있는 동안에만 일관성을 평가하며, 객체를 시야 밖으로 강제로 내보내는 소수의 벤치마크는 가려짐 동안 아무것도 변하지 않는 정적 장면을 평가한다. 이러한 격차를 해소하기 위해, 우리는 동적으로 변화하는 환경에서 사라짐과 재등장 패러다임을 중심으로 구축된 진단용 벤치마크인 MemoBench를 소개한다. 즉, 목표 객체가 물리적 과정을 겪고, 시야에서 사라진 후, 재등장 시 업데이트된 상태로 올바르게 복구되어야 한다. 우리는 합성 및 실제 장면에 걸친 360개의 실제 정답 클립을 선별하고, 네 가지 진단 축에 걸쳐 자동화된 지표와 VQA 기반 평가를 결합한 평가 도구 모음을 설계한다. 여덟 개의 최첨단 모델에 대한 평가는 사라짐과 재등장 패러다임 하의 메모리 일관성과 관련된 주요 통찰과 미해결 과제를 드러낸다.

English

Video generation models aspire to simulate dynamic environments, and several benchmarks now evaluate memory consistency across frames. However, most assess consistency only while the target remains in view, and the few that force objects out of view evaluate static scenes where nothing changes during occlusion. To bridge this gap, we introduce MemoBench, a diagnostic benchmark built around the disappear-and-reappear paradigm in dynamically changing environments: a target object undergoes a physical process, disappears from view, and must be correctly recovered in its updated state upon reappearance. We curate 360 ground-truth clips spanning synthetic and real-world scenes, and design an evaluation suite combining automated metrics with VQA-based assessment across four diagnostic pillars. Evaluation of eight state-of-the-art models reveals key insights and open challenges regarding memory consistency under the disappear-and-reappear paradigm.