Pantheon360: 3D認識可能な360度動画拡散によるデジタルツイン生成の制御

要旨

動画から完全なデジタルツインを生成するには、精密なカメラ制御、シーン全体の網羅、および厳密な空間時間的一貫性の制約が必要となる。しかし、透視型動画生成器の視野角（FoV）が限られているため、これらの要件は困難である。狭いFoVは長距離または多視点の軌跡を強いることになり、視点間の不整合や時間的ドリフトを増幅させる。我々は、360度動画生成が自然な解決策を提供すると主張する。すなわち、パノラマ的なカバレッジにより軌跡設計が簡略化され、一貫性を維持するための強力なグローバルコンテキストが得られる。本稿では、3D対応360度動画拡散モデルによるデジタルツイン生成の制御手法であるPantheon360を提案する。本手法は、疎な360度入力から高忠実度動画を合成する制御可能な360度動画生成フレームワークである。核心となるアイデアは、入力から再構成された明示的な3Dキャッシュであり、これが任意のユーザ定義カメラ経路に対する幾何学的足場として機能する。これにより、拡散モデルはフォトリアリスティックなテクスチャの精緻化に集中でき、一方で3Dキャッシュがグローバルな幾何学的一貫性を強制する。実験により、Pantheon360は優れた視覚品質と比類のない幾何学的一貫性を達成し、下流のシミュレーションやデジタルツイン応用に向けた信頼性が高く柔軟な360度シーン生成を可能にすることを示す。

English

Generating complete digital twins from videos requires precise camera control, global scene coverage, and strict spatial-temporal consistency constraints that remain challenging for perspective video generators due to their limited field of view (FoV). Their narrow FoV forces long or multi-view trajectories, amplifying cross-view inconsistency and temporal drift. We argue that 360° video generation offers a natural solution: panoramic coverage simplifies trajectory design and provides a strong global context for maintaining coherence. We introduce Pantheon360: Taming Digital Twin Generation via 3D-Aware 360° Video Diffusion, a controllable 360° video generation framework that synthesizes high-fidelity videos from sparse 360° inputs. The key idea is an explicit 3D Cache, reconstructed from the input, which serves as a geometric scaffold for any user-defined camera path. This allows the diffusion model to focus on photorealistic texture refinement while the 3D Cache enforces global geometric consistency. Experiments show that Pantheon360 achieves superior visual quality and unmatched geometric coherence, enabling reliable and flexible 360° scene generation for downstream simulation and digital-twin applications.