単一画像からの4D合成のための3Dジオメトリ再構成とモーション生成の統合

要旨

単一の静止画像からインタラクティブで動的な4Dシーンを生成することは、依然として核心的な課題である。既存の「生成してから再構築」や「再構築してから生成」する手法の多くは、幾何学情報と動きを分離して処理するため、時空間的な不整合や一般化性能の低さを引き起こす。これらの課題に対処するため、我々は「再構築してから生成」フレームワークを拡張し、モーション生成と幾何学再構築を共同で行う4D合成手法MoRe4Dを提案する。まず、高品質な4Dシーンデータの不足を解消するため、密な点軌跡を伴う6万の動画サンプルからなる大規模データセットTrajScene-60Kを導入する。これに基づき、拡散モデルベースの4Dシーン軌跡生成器（4D-STraG）を提案し、幾何学的に一貫性があり動きが妥当な4D点軌跡を共同生成する。単一視点の事前知識を活用するため、深度誘導モーション正規化戦略と、幾何学と力学の効果的統合のためのモーション認識モジュールを設計する。さらに、4D点軌跡表現から任意のカメラ軌跡で動画をレンダリングする4D視点合成モジュール（4D-ViSM）を提案する。実験により、MoRe4Dが単一画像からマルチビュー一貫性と豊富な動的詳細を備えた高品質な4Dシーンを生成できることを示す。コード：https://github.com/Zhangyr2022/MoRe4D。

English

Generating interactive and dynamic 4D scenes from a single static image remains a core challenge. Most existing generate-then-reconstruct and reconstruct-then-generate methods decouple geometry from motion, causing spatiotemporal inconsistencies and poor generalization. To address these, we extend the reconstruct-then-generate framework to jointly perform Motion generation and geometric Reconstruction for 4D Synthesis (MoRe4D). We first introduce TrajScene-60K, a large-scale dataset of 60,000 video samples with dense point trajectories, addressing the scarcity of high-quality 4D scene data. Based on this, we propose a diffusion-based 4D Scene Trajectory Generator (4D-STraG) to jointly generate geometrically consistent and motion-plausible 4D point trajectories. To leverage single-view priors, we design a depth-guided motion normalization strategy and a motion-aware module for effective geometry and dynamics integration. We then propose a 4D View Synthesis Module (4D-ViSM) to render videos with arbitrary camera trajectories from 4D point track representations. Experiments show that MoRe4D generates high-quality 4D scenes with multi-view consistency and rich dynamic details from a single image. Code: https://github.com/Zhangyr2022/MoRe4D.

単一画像からの4D合成のための3Dジオメトリ再構成とモーション生成の統合

Joint 3D Geometry Reconstruction and Motion Generation for 4D Synthesis from a Single Image

要旨

Support