DreamCinema: 自由カメラと3Dキャラクターを用いたシネマティックな転送

DreamCinema: Cinematic Transfer with Free Camera and 3D Character

August 22, 2024

著者: Weiliang Chen, Fangfu Liu, Diankun Wu, Haowen Sun, Haixu Song, Yueqi Duan

cs.AI

要旨

私たちはデジタルメディアの繁栄する時代に生きており、誰もが個人の映画製作者になる可能性を持っています。映画転送に関する現在の研究は、映画製作者に古典的なショットから視覚要素（例：撮影技法やキャラクターの振る舞い）を再現し操作する力を与えています。しかし、再構想された映画のキャラクターは依然として手作業に頼っており、これには複雑な技術的要素と高いコストがかかり、一般ユーザーには手の届かないものとなっています。さらに、推定された撮影技法は、フレーム間の動きの不適切な捉え方や物理的な軌跡のモデリングの不足により、滑らかさを欠いています。幸いなことに、2Dおよび3D AIGCの顕著な成功により、ユーザーのニーズに合わせて効率的にキャラクターを生成し、撮影技法を多様化する可能性が開かれました。本論文では、ユーザーフレンドリーな映画制作を促進することを目的として、映画製作パラダイムに生成AIを先駆けとする新しい映画転送フレームワークであるDreamCinemaを提案します。具体的には、まず映画的要素（すなわち、人間とカメラのポーズ）を抽出し、カメラの軌跡を最適化します。次に、キャラクタージェネレータを適用して、人間の構造を事前に持つ3D高品質キャラクターを効率的に作成します。最後に、生成されたキャラクターを映画制作に組み込み、3Dグラフィックスエンジンを介してスムーズに転送するための構造に基づいたモーショントランスファ戦略を開発します。幅広い実験により、自由なカメラと3Dキャラクターを使用した高品質映画の作成に対する当社の手法の効果が示されています。

English

We are living in a flourishing era of digital media, where everyone has the potential to become a personal filmmaker. Current research on cinematic transfer empowers filmmakers to reproduce and manipulate the visual elements (e.g., cinematography and character behaviors) from classic shots. However, characters in the reimagined films still rely on manual crafting, which involves significant technical complexity and high costs, making it unattainable for ordinary users. Furthermore, their estimated cinematography lacks smoothness due to inadequate capturing of inter-frame motion and modeling of physical trajectories. Fortunately, the remarkable success of 2D and 3D AIGC has opened up the possibility of efficiently generating characters tailored to users' needs, diversifying cinematography. In this paper, we propose DreamCinema, a novel cinematic transfer framework that pioneers generative AI into the film production paradigm, aiming at facilitating user-friendly film creation. Specifically, we first extract cinematic elements (i.e., human and camera pose) and optimize the camera trajectory. Then, we apply a character generator to efficiently create 3D high-quality characters with a human structure prior. Finally, we develop a structure-guided motion transfer strategy to incorporate generated characters into film creation and transfer it via 3D graphics engines smoothly. Extensive experiments demonstrate the effectiveness of our method for creating high-quality films with free camera and 3D characters.