スペクトラルスプラッツ：スペクトルモーメント監督によるロバストな微分可能トラッキング

SpectralSplats: Robust Differentiable Tracking via Spectral Moment Supervision

March 25, 2026

著者: Avigail Cohen Rimon, Amir Mann, Mirela Ben Chen, Or Litany

cs.AI

要旨

3Dガウシアンスプラッティング（3DGS）は、リアルタイムで写実的な新視点合成を可能にし、モデルベースのビデオ追跡において非常に魅力的な表現となっている。しかし、3DGSレンダラーの微分可能性を「実環境下」で活用することは、未だに極めて脆弱であることが知られている。根本的なボトルネックは、ガウシアン primitive のコンパクトかつ局所的な支持領域にある。標準的な測光的な目的関数は暗黙的に空間的重なりに依存しており、深刻なカメラ位置ずれによってレンダリング対象がターゲットの局所的フットプリント外に位置すると、勾配は完全に消失し、最適化処理は行き詰まる。本研究では、最適化の目的を空間領域から周波数領域へ移すことで、この「勾配消失」問題を解決するロバストな追跡フレームワーク、SpectralSplatsを提案する。レンダリング画像を一連の大域的な複素正弦波特徴（スペクトルモーメント）によって監督することで、大域的な吸引盆地を構築し、ピクセル重なりが完全に存在しない場合でも、画像領域全体にわたってターゲットに向けた有効な方向勾配が存在することを保証する。高周波数に伴う周期的な局所最適解を導入することなくこの大域的な盆地を利用するため、基本原理に基づいた理論的な周波数アニーリングスケジュールを導出し、最適化処理を大域的な凸性から精密な空間位置合わせへと円滑に遷移させる。SpectralSplatsが、多様な変形パラメータ化（MLPから疎な制御点まで）における空間的損失のシームレスな代替として機能し、標準的な見た目ベースの追跡が致命的に失敗する深刻な位置ずれ初期値からでも複雑な変形を首尾よく回復することを実証する。

English

3D Gaussian Splatting (3DGS) enables real-time, photorealistic novel view synthesis, making it a highly attractive representation for model-based video tracking. However, leveraging the differentiability of the 3DGS renderer "in the wild" remains notoriously fragile. A fundamental bottleneck lies in the compact, local support of the Gaussian primitives. Standard photometric objectives implicitly rely on spatial overlap; if severe camera misalignment places the rendered object outside the target's local footprint, gradients strictly vanish, leaving the optimizer stranded. We introduce SpectralSplats, a robust tracking framework that resolves this "vanishing gradient" problem by shifting the optimization objective from the spatial to the frequency domain. By supervising the rendered image via a set of global complex sinusoidal features (Spectral Moments), we construct a global basin of attraction, ensuring that a valid, directional gradient toward the target exists across the entire image domain, even when pixel overlap is completely nonexistent. To harness this global basin without introducing periodic local minima associated with high frequencies, we derive a principled Frequency Annealing schedule from first principles, gracefully transitioning the optimizer from global convexity to precise spatial alignment. We demonstrate that SpectralSplats acts as a seamless, drop-in replacement for spatial losses across diverse deformation parameterizations (from MLPs to sparse control points), successfully recovering complex deformations even from severely misaligned initializations where standard appearance-based tracking catastrophically fails.