SpectralSplats: Robuuste Differentieerbare Tracking via Spectraal Moment Supervisie

SpectralSplats: Robust Differentiable Tracking via Spectral Moment Supervision

March 25, 2026

Auteurs: Avigail Cohen Rimon, Amir Mann, Mirela Ben Chen, Or Litany

cs.AI

Samenvatting

3D Gaussian Splatting (3DGS) maakt real-time, fotorealistische synthese van nieuwe gezichtspunten mogelijk, wat het een zeer aantrekkelijke representatie maakt voor modelgebaseerde videotracking. Het benutten van de differentieerbaarheid van de 3DGS-renderer "in het wild" blijft echter berucht fragiel. Een fundamenteel knelpunt ligt in de compacte, lokale ondersteuning van de Gauss-primitieven. Standaard fotometrische doelstellingen zijn impliciet afhankelijk van ruimtelijke overlap; als ernstige cameramisalignering het gerenderde object buiten het lokale bereik van het doel plaatst, verdwijnen de gradiënten volledig, waardoor de optimalisator stranden. Wij introduceren SpectralSplats, een robuust trackingraamwerk dat dit "verdwijnende-gradiënten"-probleem oplost door de optimalisatiedoelstelling te verleggen van het ruimtelijke domein naar het frequentiedomein. Door de gerenderde afbeelding te sturen via een set van globale complexe sinusvormige kenmerken (Spectrale Momenten), construeren we een globaal aantrekkingsbekken. Dit garandeert dat er een geldige, directionele gradiënt naar het doel bestaat over het gehele beelddomein, zelfs wanneer pixeloverlap volledig afwezig is. Om dit globale bekken te benutten zonder periodieke lokale minima geassocieerd met hoge frequenties te introduceren, leiden we een principieel Frequentie-Uitdovingsschema af vanuit eerste principes. Dit laat de optimalisator soepel transitioneren van globale convexiteit naar precieze ruimtelijke alignering. Wij tonen aan dat SpectralSplats fungeert als een naadloze, drop-in vervanging voor ruimtelijke verliesfuncties across diverse deformatie-parameterisaties (van MLPs tot sparse controlepunten), en complexe deformaties succesvol herstelt, zelfs vanaf ernstig misaligneerde initialisaties waarbij standaard op uiterlijk gebaseerde tracking catastrofaal faalt.

English

3D Gaussian Splatting (3DGS) enables real-time, photorealistic novel view synthesis, making it a highly attractive representation for model-based video tracking. However, leveraging the differentiability of the 3DGS renderer "in the wild" remains notoriously fragile. A fundamental bottleneck lies in the compact, local support of the Gaussian primitives. Standard photometric objectives implicitly rely on spatial overlap; if severe camera misalignment places the rendered object outside the target's local footprint, gradients strictly vanish, leaving the optimizer stranded. We introduce SpectralSplats, a robust tracking framework that resolves this "vanishing gradient" problem by shifting the optimization objective from the spatial to the frequency domain. By supervising the rendered image via a set of global complex sinusoidal features (Spectral Moments), we construct a global basin of attraction, ensuring that a valid, directional gradient toward the target exists across the entire image domain, even when pixel overlap is completely nonexistent. To harness this global basin without introducing periodic local minima associated with high frequencies, we derive a principled Frequency Annealing schedule from first principles, gracefully transitioning the optimizer from global convexity to precise spatial alignment. We demonstrate that SpectralSplats acts as a seamless, drop-in replacement for spatial losses across diverse deformation parameterizations (from MLPs to sparse control points), successfully recovering complex deformations even from severely misaligned initializations where standard appearance-based tracking catastrophically fails.