AdaGaR: 動的シーン再構成のための適応的ガボール表現

要旨

単眼動画から動的3Dシーンを再構築するには、高周波の外観詳細と時間的に連続な動きを同時に捕捉する必要がある。既存の単一ガウシアンプリミティブを用いる手法は、そのローパスフィルタ特性によって制限され、標準的なガボール関数はエネルギー不安定性を引き起こす。さらに、時間的連続性の制約が不足しているため、補間時にモーションアーティファクトが生じやすい。本研究では、明示的動的シーンモデリングにおける周波数適応性と時間的連続性の両課題に応える統一フレームワークAdaGaRを提案する。適応的ガボール表現を導入し、学習可能な周波数重みと適応的エネルギー補償によりガウシアンを拡張することで、詳細捕捉と安定性のバランスを実現する。時間的連続性については、3次エルミートスプラインと時間曲率正則化を採用し、滑らかな動きの進化を保証する。深度推定、点追跡、前景マスクを組み合わせた適応的初期化機構により、訓練初期段階で安定した点群分布を構築する。Tap-Vid DAVISにおける実験では、最高水準の性能（PSNR 35.49, SSIM 0.9433, LPIPS 0.0723）を実証し、フレーム補間、深度一貫性、動画編集、ステレオビュー合成において強力な一般化性能を示した。プロジェクトページ: https://jiewenchan.github.io/AdaGaR/

English

Reconstructing dynamic 3D scenes from monocular videos requires simultaneously capturing high-frequency appearance details and temporally continuous motion. Existing methods using single Gaussian primitives are limited by their low-pass filtering nature, while standard Gabor functions introduce energy instability. Moreover, lack of temporal continuity constraints often leads to motion artifacts during interpolation. We propose AdaGaR, a unified framework addressing both frequency adaptivity and temporal continuity in explicit dynamic scene modeling. We introduce Adaptive Gabor Representation, extending Gaussians through learnable frequency weights and adaptive energy compensation to balance detail capture and stability. For temporal continuity, we employ Cubic Hermite Splines with Temporal Curvature Regularization to ensure smooth motion evolution. An Adaptive Initialization mechanism combining depth estimation, point tracking, and foreground masks establishes stable point cloud distributions in early training. Experiments on Tap-Vid DAVIS demonstrate state-of-the-art performance (PSNR 35.49, SSIM 0.9433, LPIPS 0.0723) and strong generalization across frame interpolation, depth consistency, video editing, and stereo view synthesis. Project page: https://jiewenchan.github.io/AdaGaR/

AdaGaR: 動的シーン再構成のための適応的ガボール表現

AdaGaR: Adaptive Gabor Representation for Dynamic Scene Reconstruction

要旨

Support