MemLearner: 비디오 월드 모델을 위한 컨텍스트 메모리 질의 학습

초록

비디오 월드 모델은 사용자 행동과 과거 비디오 프레임을 기반으로 미래 세계 상태를 예측하는 상호작용적 비디오 생성 모델이다. 비디오 월드 모델의 중요한 과제는 메모리 부족으로 인해 긴 시간 동안 생성된 장면이 일관성을 유지하지 못하는 점이다. 기존 방법들은 규칙 기반의 컨텍스트 프레임 검색을 메모리로 활용했지만, 장면 폐색과 동적 객체가 존재하는 시나리오에서는 일반화에 실패한다. 본 논문에서는 학습 기반의 적응형 컨텍스트 질의 방법인 MemLearner를 제안하며, 쿼리 토큰을 사용하여 컨텍스트와 예측 토큰을 연결한다. MemLearner는 비디오 생성 모델 자체를 컨텍스트 질의에 활용함으로써, 추가 모듈을 처음부터 학습하지 않고 사전 학습된 시각적 사전 지식을 활용하며, 학습 및 추론을 위한 효율적인 전략을 통합한다. 또한 장면 폐색과 동적 객체가 포함된 긴 비디오 데이터셋을 수집하고, 이를 카메라 포즈 주석과 쌍으로 구성하였으며, 주석이 달린 렌더링 비디오와 주석이 없는 실제 비디오를 모두 활용하는 다중 데이터셋 학습 전략을 제안한다. 광범위한 실험을 통해 MemLearner가 특히 까다로운 폐색 및 동적 시나리오에서 장면 일관성과 메모리 측면에서 이전 비디오 월드 모델보다 훨씬 뛰어난 성능을 보임을 입증한다.

English

Video World Models are interactive video generation models that predict future world states based on user actions and history video frames. A critical challenge in video world models is the lack of memory, causing inconsistent generated scenes over extended durations. Previous methods explored rule-based context frame retrieval as memory, but they fail to generalize in scenarios with scene occlusions and dynamic objects. We propose MemLearner, a learning-based adaptive context query method using query tokens to bridge context and predicted tokens. By leveraging the video generation model itself for context querying, MemLearner exploits pre-trained visual priors without training additional modules from scratch, and incorporates efficient strategies for training and inference. We collect a dataset of long videos with scene occlusions and dynamic objects, paired with camera pose annotations, and propose a multi-dataset training strategy leveraging both annotated rendered and unannotated real-world videos. Extensive experiments demonstrate that MemLearner significantly outperforms prior video world models in terms of scene consistency and memory, particularly under challenging occlusion and dynamic scenarios.