루프 닫기: 자기회귀 생성 렌더링을 위한 훈련 없는 재방문 일관성

초록

최근 조건부 비디오 생성 모델은 깊이 맵 및 텍스처 없는 지오메트리와 같은 3D 엔진 렌더링을 게임 및 몰입형 콘텐츠 생성을 위한 사실적인 비디오로 변환하는 유망한 잠재력을 보여주고 있다. 이러한 응용 분야는 지속적인 3D 세계를 유지하면서 새로운 프레임을 지속적으로 합성하는 장기 자기회귀 생성을 필요로 한다. 자기회귀 생성기는 제한된 KV 캐시를 사용하여 비디오를 청크 단위로 합성하므로, 카메라가 컨텍스트가 제거된 후 동일한 위치를 재방문할 때 조건부 렌더링(예: 깊이)이 기본 지오메트리와 완벽하게 정렬되어 있음에도 불구하고 모델이 일관되지 않은 외관을 재생성하는 경우가 많다. 본 연구에서는 3D 엔진이 이미 제공하는 대응 관계를 활용하여 추가 학습 없이 재방문 불일치 문제를 해결한다. 시간적 대응은 포즈와 일치하는 과거 잠재 청크를 루프 폐쇄 메모리로서 KV 캐시로 검색하며, 공간적 대응은 카메라 포즈 및 깊이 재투영을 통해 검색된 청크의 기하학적으로 대응되는 영역으로 토큰 수준 어텐션을 편향시킨다. 우리는 TartanAir 및 TartanGround 데이터셋에서 추출한 루프 폐쇄 궤적에 대해 제안 방법을 평가하여 복잡한 실제 응용 시나리오를 반영하였으며, 전반적인 비디오 품질을 저하시키지 않으면서 재방문 일관성 측면에서 기존의 학습 없는 기준선보다 우수한 성능을 보였다. 프로젝트 페이지: https://wenchao-m.github.io/ClosetheLoop.github.io/

English

Recent conditional video generation models have shown promising potentials to transform 3D engine renderings, such as depth maps and untextured geometry, into photorealistic videos for gaming and immersive content creation. These applications require long-horizon auto-regressive generation that continuously synthesizes new frames while preserving a persistent 3D world. Auto-regressive generators synthesize video chunk by chunk with a bounded KV cache, so when the camera revisits a location after its context has been evicted, the model often regenerates inconsistent appearance, even though the conditioning renderings (e.g., depth) remain perfectly aligned with the underlying geometry.We address this revisit inconsistency without any post-training by exploiting correspondences the 3D engine already provides: temporal correspondence retrieves pose-matched historical latent chunks into the KV cache as loop-closure memory, while spatial correspondence from camera pose and depth reprojection biases token-level attention toward geometrically corresponding regions of the retrieved chunks. We demonstrate our method on loop-closure trajectories mined from TartanAir and TartanGround dataset to mirror complicate real-world application scenarios, where it outperforms existing training-free baselines on revisit consistency without losing overall video quality. Project Page: https://wenchao-m.github.io/ClosetheLoop.github.io/