Human4DiT: 4D Diffusion Transformerを用いた自由視点人間動画生成

Human4DiT: Free-view Human Video Generation with 4D Diffusion Transformer

May 27, 2024

著者: Ruizhi Shao, Youxin Pang, Zerong Zheng, Jingxiang Sun, Yebin Liu

cs.AI

要旨

単一画像から任意の視点で高品質かつ時空間的に一貫した人間の動画を生成するための新しいアプローチを提案します。本フレームワークは、正確な条件付け注入のためのU-Netと、視点や時間にわたるグローバルな相関を捉えるための拡散トランスフォーマーの強みを組み合わせています。その中核となるのは、視点、時間、空間次元にわたる注意機構を分解するカスケード型4Dトランスフォーマーアーキテクチャであり、4D空間の効率的なモデリングを可能にします。人間の識別情報、カメラパラメータ、時間信号をそれぞれのトランスフォーマーに注入することで、精密な条件付けを実現しています。このモデルを訓練するために、画像、動画、マルチビューデータ、3D/4Dスキャンにまたがる多次元データセットと、多次元トレーニング戦略を構築しました。本アプローチは、複雑な動きや視点の変化に苦戦するGANやUNetベースの拡散モデルに基づく従来手法の限界を克服しています。大規模な実験を通じて、本手法が現実的で一貫性のある自由視点人間動画を合成する能力を実証し、仮想現実やアニメーションなどの分野における高度なマルチメディアアプリケーションへの道を開きます。プロジェクトのウェブサイトはhttps://human4dit.github.ioです。

English

We present a novel approach for generating high-quality, spatio-temporally coherent human videos from a single image under arbitrary viewpoints. Our framework combines the strengths of U-Nets for accurate condition injection and diffusion transformers for capturing global correlations across viewpoints and time. The core is a cascaded 4D transformer architecture that factorizes attention across views, time, and spatial dimensions, enabling efficient modeling of the 4D space. Precise conditioning is achieved by injecting human identity, camera parameters, and temporal signals into the respective transformers. To train this model, we curate a multi-dimensional dataset spanning images, videos, multi-view data and 3D/4D scans, along with a multi-dimensional training strategy. Our approach overcomes the limitations of previous methods based on GAN or UNet-based diffusion models, which struggle with complex motions and viewpoint changes. Through extensive experiments, we demonstrate our method's ability to synthesize realistic, coherent and free-view human videos, paving the way for advanced multimedia applications in areas such as virtual reality and animation. Our project website is https://human4dit.github.io.