AdaGaR : Représentation Gabor Adaptative pour la Reconstruction de Scènes Dynamiques
AdaGaR: Adaptive Gabor Representation for Dynamic Scene Reconstruction
January 2, 2026
papers.authors: Jiewen Chan, Zhenjun Zhao, Yu-Lun Liu
cs.AI
papers.abstract
La reconstruction de scènes 3D dynamiques à partir de vidéos monoculaires nécessite de capturer simultanément les détails d'apparence haute fréquence et le mouvement temporellement continu. Les méthodes existantes utilisant des primitives gaussiennes uniques sont limitées par leur nature de filtre passe-bas, tandis que les fonctions de Gabor standards introduisent une instabilité énergétique. De plus, l'absence de contraintes de continuité temporelle entraîne souvent des artefacts de mouvement lors de l'interpolation. Nous proposons AdaGaR, un cadre unifié abordant à la fois l'adaptativité fréquentielle et la continuité temporelle dans la modélisation explicite de scènes dynamiques. Nous introduisons la Représentation de Gabor Adaptative, étendant les Gaussiennes via des pondérations fréquentielles apprenables et une compensation énergétique adaptative pour équilibrer la capture des détails et la stabilité. Pour la continuité temporelle, nous employons des Splines Cubiques d'Hermite avec Régularisation de Courbure Temporelle pour assurer une évolution de mouvement fluide. Un mécanisme d'Initialisation Adaptative combinant l'estimation de profondeur, le suivi de points et les masques de premier plan établit des distributions stables de nuages de points en début d'entraînement. Les expériences sur Tap-Vid DAVIS démontrent des performances de pointe (PSNR 35,49, SSIM 0,9433, LPIPS 0,0723) et une forte généralisation dans l'interpolation d'images, la cohérence de profondeur, l'édition vidéo et la synthèse de vues stéréoscopiques. Page du projet : https://jiewenchan.github.io/AdaGaR/
English
Reconstructing dynamic 3D scenes from monocular videos requires simultaneously capturing high-frequency appearance details and temporally continuous motion. Existing methods using single Gaussian primitives are limited by their low-pass filtering nature, while standard Gabor functions introduce energy instability. Moreover, lack of temporal continuity constraints often leads to motion artifacts during interpolation. We propose AdaGaR, a unified framework addressing both frequency adaptivity and temporal continuity in explicit dynamic scene modeling. We introduce Adaptive Gabor Representation, extending Gaussians through learnable frequency weights and adaptive energy compensation to balance detail capture and stability. For temporal continuity, we employ Cubic Hermite Splines with Temporal Curvature Regularization to ensure smooth motion evolution. An Adaptive Initialization mechanism combining depth estimation, point tracking, and foreground masks establishes stable point cloud distributions in early training. Experiments on Tap-Vid DAVIS demonstrate state-of-the-art performance (PSNR 35.49, SSIM 0.9433, LPIPS 0.0723) and strong generalization across frame interpolation, depth consistency, video editing, and stereo view synthesis. Project page: https://jiewenchan.github.io/AdaGaR/