ループを閉じる：自己回帰生成レンダリングにおける学習不要の再訪一貫性

要旨

近年の条件付き動画生成モデルは、深度マップや未テクスチャ形状などの3Dエンジンレンダリングを、ゲームや没入型コンテンツ制作向けのフォトリアリスティックな動画に変換する有望な可能性を示している。これらの応用には、永続的な3Dワールドを維持しながら新たなフレームを連続的に合成する、長期的な自己回帰生成が必要となる。自己回帰生成器は、有界のKVキャッシュを用いて動画をチャンク単位で合成するため、カメラが過去のコンテキストを追い出した後に同じ場所を再訪した場合、条件付けとなるレンダリング（例：深度）が基礎となる幾何形状と完全に一致しているにもかかわらず、モデルはしばしば一貫性のない外観を再生成してしまう。本稿では、3Dエンジンが既に提供する対応関係を活用することで、事後学習を一切行わずにこの再訪時の非一貫性を解決する。時間対応は、ポーズと一致する過去の潜在チャンクをループクロージャメモリとしてKVキャッシュに再取得し、空間対応は、カメラポーズと深度再投影により、取得したチャンクの幾何的に対応する領域に向けてトークンレベルの注意を偏らせる。本手法を、複雑な実世界応用シナリオを反映させるためにTartanAirおよびTartanGroundデータセットから抽出したループクロージャ軌跡上で評価し、全体の動画品質を損なうことなく再訪一貫性において既存の学習不要ベースラインを上回る結果を示す。プロジェクトページ: https://wenchao-m.github.io/ClosetheLoop.github.io/

English

Recent conditional video generation models have shown promising potentials to transform 3D engine renderings, such as depth maps and untextured geometry, into photorealistic videos for gaming and immersive content creation. These applications require long-horizon auto-regressive generation that continuously synthesizes new frames while preserving a persistent 3D world. Auto-regressive generators synthesize video chunk by chunk with a bounded KV cache, so when the camera revisits a location after its context has been evicted, the model often regenerates inconsistent appearance, even though the conditioning renderings (e.g., depth) remain perfectly aligned with the underlying geometry.We address this revisit inconsistency without any post-training by exploiting correspondences the 3D engine already provides: temporal correspondence retrieves pose-matched historical latent chunks into the KV cache as loop-closure memory, while spatial correspondence from camera pose and depth reprojection biases token-level attention toward geometrically corresponding regions of the retrieved chunks. We demonstrate our method on loop-closure trajectories mined from TartanAir and TartanGround dataset to mirror complicate real-world application scenarios, where it outperforms existing training-free baselines on revisit consistency without losing overall video quality. Project Page: https://wenchao-m.github.io/ClosetheLoop.github.io/