SpectralSplats: Надежное дифференцируемое отслеживание с помощью спектрального моментного супервизирования

SpectralSplats: Robust Differentiable Tracking via Spectral Moment Supervision

March 25, 2026

Авторы: Avigail Cohen Rimon, Amir Mann, Mirela Ben Chen, Or Litany

cs.AI

Аннотация

Метод 3D Gaussian Splatting (3DGS) обеспечивает синтез новых фотореалистичных видов в реальном времени, что делает его чрезвычайно привлекательным представлением для модельного видеотрекинга. Однако использование дифференцируемости рендерера 3DGS «в естественных условиях» остается крайне ненадежным. Фундаментальное ограничение заключается в компактном, локальном носителе гауссовых примитивов. Стандартные фотометрические функции потерь неявно полагаются на пространственное перекрытие; если сильное несовпадение камеры приводит к тому, что отображаемый объект оказывается за пределами локальной области цели, градиенты строго обращаются в ноль, оставляя оптимизатор в тупике. Мы представляем SpectralSplats — надежный фреймворк для трекинга, который решает проблему «исчезающего градиента» за счет переноса цели оптимизации из пространственной области в частотную. Направляя формирование рендеренного изображения с помощью набора глобальных комплексных синусоидальных признаков (спектральных моментов), мы создаем глобальную область притяжения, гарантируя существование валидного направленного градиента к цели во всей области изображения, даже когда пиксельное перекрытие полностью отсутствует. Чтобы использовать эту глобальную область, не внося периодических локальных минимумов, связанных с высокими частотами, мы выводим принципиальный график частотного отжига (Frequency Annealing) из первых принципов, плавно переводя оптимизатор от глобальной выпуклости к точному пространственному выравниванию. Мы демонстрируем, что SpectralSplats служит бесшовной, готовой к использованию заменой пространственным функциям потерь для различных параметризаций деформации (от MLP до разреженных контрольных точек), успешно восстанавливая сложные деформации даже при сильно смещенных начальных приближениях, в которых стандартный трекинг на основе внешнего вида терпит катастрофический провал.

English

3D Gaussian Splatting (3DGS) enables real-time, photorealistic novel view synthesis, making it a highly attractive representation for model-based video tracking. However, leveraging the differentiability of the 3DGS renderer "in the wild" remains notoriously fragile. A fundamental bottleneck lies in the compact, local support of the Gaussian primitives. Standard photometric objectives implicitly rely on spatial overlap; if severe camera misalignment places the rendered object outside the target's local footprint, gradients strictly vanish, leaving the optimizer stranded. We introduce SpectralSplats, a robust tracking framework that resolves this "vanishing gradient" problem by shifting the optimization objective from the spatial to the frequency domain. By supervising the rendered image via a set of global complex sinusoidal features (Spectral Moments), we construct a global basin of attraction, ensuring that a valid, directional gradient toward the target exists across the entire image domain, even when pixel overlap is completely nonexistent. To harness this global basin without introducing periodic local minima associated with high frequencies, we derive a principled Frequency Annealing schedule from first principles, gracefully transitioning the optimizer from global convexity to precise spatial alignment. We demonstrate that SpectralSplats acts as a seamless, drop-in replacement for spatial losses across diverse deformation parameterizations (from MLPs to sparse control points), successfully recovering complex deformations even from severely misaligned initializations where standard appearance-based tracking catastrophically fails.