4DAnyone: カジュアルな単眼ビデオから任意の人物を4Dで生成

要旨

我々は、未校正の単眼ビデオから4D人体を再構成するフレームワークである4DAnyoneを提案する。本手法では、再構成グレードの多視点一貫性のあるビデオを生成し、それらを4D Gaussian Splatting (4DGS) へとリフティングする。既存のカメラ制御型ビデオ拡散モデルは、もっともらしい新規視点ビデオを合成できるが、4DGS再構成に必要な数十の目標視点に拡張した場合には一貫性を維持できない。我々はこの失敗を、有界アテンションコンテキスト問題として特定する。目標視点数が単一のDiTフォワードパスの容量を超えると、それらをグループに分割しなければならず、相互に連関する二つのボトルネックが顕在化する。参照コンテキスト側では、以前に生成されたすべての視点への条件付けがO(N)で増大し、視点間の外観ガイダンスが弱まる。ターゲットコンテキスト側では、互いに素なグループは情報を直接交換できないため、全体的な構造ドリフトが生じる。4DAnyoneは、これらの二つのボトルネックに対して、相補的な二つの設計で対処する。Reference Context Packing (RCP)は、増え続ける参照視点を固定長の混合解像度コンテキストに圧縮し、O(1)の参照コンテキスト複雑度を実現する。一方、Target Context Routing (TCR)は、デノイジング中に目標視点のグループ分けをローテーションし、高ノイズステップではグループ間でコンテキストを共有し、低ノイズステップでは詳細を安定化させる。さらに、社内のゲームエンジンを用いてMVGameHumanデータセットを構築し、これをライトステージおよび実環境のビデオデータセットと組み合わせて学習に用いる。DNA-RenderingおよびDyMVHumansにおける実験により、4DAnyoneは新規視点ビデオの品質と下流の4DGS再構成の両方において既存手法を上回り、実環境への頑健な一般化を示す。ビデオ結果とソースコードについては、プロジェクトページ(https://4danyone.github.io)を参照されたい。

English

We present 4DAnyone, a framework for reconstructing 4D humans from an uncalibrated monocular video by generating reconstruction-grade multiview-consistent videos and lifting them into 4D Gaussian Splatting (4DGS). Existing camera-controlled video diffusion models synthesize plausible novel-view videos but fail to maintain consistency when scaled to the tens of target views required for 4DGS reconstruction. We identify this failure as a bounded-attention-context problem: when target views exceed the capacity of a single DiT forward pass, they must be split into groups, exposing two coupled bottlenecks. On the reference-context side, conditioning on all previously generated views grows as O(N), weakening cross-view appearance guidance. On the target-context side, disjoint groups cannot directly exchange information, causing global structural drift. 4DAnyone addresses both bottlenecks with two complementary designs: Reference Context Packing (RCP) compresses growing reference views into a fixed-length mixed-resolution context with O(1) reference-context complexity, while Target Context Routing (TCR) rotates target-view groupings during denoising to share context across groups at high-noise steps and stabilize details at low-noise steps. We further build the MVGameHuman dataset using our in-house game engine and combine it with light-stage and in-the-wild video datasets for training. Experiments on DNA-Rendering and DyMVHumans show that 4DAnyone outperforms prior methods in both novel-view video quality and downstream 4DGS reconstruction, with robust in-the-wild generalization. See our project page for video results and source code: https://4danyone.github.io.