SpectralSplats: Rilevamento Robusto e Differenziabile tramite Supervisione dei Momenti Spettrali

SpectralSplats: Robust Differentiable Tracking via Spectral Moment Supervision

March 25, 2026

Autori: Avigail Cohen Rimon, Amir Mann, Mirela Ben Chen, Or Litany

cs.AI

Abstract

Lo Splatting Gaussiano 3D (3DGS) consente una sintesi di nuove viste in tempo reale e fotorealistica, rendendolo una rappresentazione molto attraente per il tracciamento video basato su modelli. Tuttavia, sfruttare la differenziabilità del renderer 3DGS "in condizioni reali" rimane notoriamente fragile. Un collo di bottiglia fondamentale risiede nel supporto compatto e locale delle primitive gaussiane. Gli obiettivi fotometrici standard si basano implicitamente sulla sovrapposizione spaziale; se un disallineamento severo della camera posiziona l'oggetto renderizzato al di fuori dell'area locale del target, i gradienti svaniscono completamente, lasciando l'ottimizzatore bloccato. Introduciamo SpectralSplats, un framework robusto per il tracciamento che risolve questo problema del "gradiente che svanisce" spostando l'obiettivo di ottimizzazione dal dominio spaziale a quello delle frequenze. Supervisionando l'immagine renderizzata tramite un insieme di caratteristiche sinusoidali complesse globali (Momenti Spettrali), costruiamo un bacino di attrazione globale, garantendo che un gradiente valido e direzionale verso il target esista in tutto il dominio dell'immagine, anche quando la sovrapposizione pixel è completamente assente. Per sfruttare questo bacino globale senza introdurre minimi locali periodici associati alle alte frequenze, deriviamo da principi primi una pianificazione principled dell'Annealing in Frequenza, facendo transitare elegantemente l'ottimizzatore dalla convessità globale all'allineamento spaziale preciso. Dimostriamo che SpectralSplats funge da sostituto seamless e drop-in per le perdite spaziali attraverso diverse parametrizzazioni di deformazione (dalle MLP ai punti di controllo sparsi), recuperando con successo deformazioni complesse anche da inizializzazioni severamente disallineate dove il tracciamento standard basato sull'aspetto fallisce catastroficamente.

English

3D Gaussian Splatting (3DGS) enables real-time, photorealistic novel view synthesis, making it a highly attractive representation for model-based video tracking. However, leveraging the differentiability of the 3DGS renderer "in the wild" remains notoriously fragile. A fundamental bottleneck lies in the compact, local support of the Gaussian primitives. Standard photometric objectives implicitly rely on spatial overlap; if severe camera misalignment places the rendered object outside the target's local footprint, gradients strictly vanish, leaving the optimizer stranded. We introduce SpectralSplats, a robust tracking framework that resolves this "vanishing gradient" problem by shifting the optimization objective from the spatial to the frequency domain. By supervising the rendered image via a set of global complex sinusoidal features (Spectral Moments), we construct a global basin of attraction, ensuring that a valid, directional gradient toward the target exists across the entire image domain, even when pixel overlap is completely nonexistent. To harness this global basin without introducing periodic local minima associated with high frequencies, we derive a principled Frequency Annealing schedule from first principles, gracefully transitioning the optimizer from global convexity to precise spatial alignment. We demonstrate that SpectralSplats acts as a seamless, drop-in replacement for spatial losses across diverse deformation parameterizations (from MLPs to sparse control points), successfully recovering complex deformations even from severely misaligned initializations where standard appearance-based tracking catastrophically fails.