AdaGaR: Adaptive Gabor-Darstellung für die Rekonstruktion dynamischer Szenen
AdaGaR: Adaptive Gabor Representation for Dynamic Scene Reconstruction
January 2, 2026
papers.authors: Jiewen Chan, Zhenjun Zhao, Yu-Lun Liu
cs.AI
papers.abstract
Die Rekonstruktion dynamischer 3D-Szenen aus monokularen Videos erfordert die gleichzeitige Erfassung hochfrequenter Erscheinungsdetails und zeitlich kontinuierlicher Bewegung. Bestehende Methoden, die auf einzelnen Gauß-Primitiven basieren, sind durch ihren Tiefpassfilter-Charakter eingeschränkt, während Standard-Gabor-Funktionen Energieinstabilitäten verursachen. Zudem führt das Fehlen von zeitlichen Stetigkeitsbedingungen häufig zu Bewegungsartefakten bei der Interpolation. Wir stellen AdaGaR vor, einen einheitlichen Rahmen, der sowohl Frequenzadaptivität als auch zeitliche Stetigkeit bei der expliziten Modellierung dynamischer Szenen adressiert. Wir führen eine Adaptive Gabor-Repräsentation ein, die Gauß-Funktionen durch lernbare Frequenzgewichte und adaptive Energiekompensation erweitert, um die Detailerfassung und Stabilität auszugleichen. Für die zeitliche Stetigkeit verwenden wir Kubische Hermite-Splines mit Temporaler Krümmungsregularisierung, um eine glatte Bewegungsentwicklung zu gewährleisten. Ein Adaptiver Initialisierungsmechanismus, der Tiefenschätzung, Punktverfolgung und Vordergrundmasken kombiniert, etabliert stabile Punktwolkenverteilungen in der frühen Trainingsphase. Experimente auf Tap-Vid DAVIS demonstrieren state-of-the-art Leistung (PSNR 35,49, SSIM 0,9433, LPIPS 0,0723) und starke Generalisierbarkeit in den Bereichen Frame-Interpolation, Tiefenkonsistenz, Videobearbeitung und stereoskopischer Viewsynthese. Projektseite: https://jiewenchan.github.io/AdaGaR/
English
Reconstructing dynamic 3D scenes from monocular videos requires simultaneously capturing high-frequency appearance details and temporally continuous motion. Existing methods using single Gaussian primitives are limited by their low-pass filtering nature, while standard Gabor functions introduce energy instability. Moreover, lack of temporal continuity constraints often leads to motion artifacts during interpolation. We propose AdaGaR, a unified framework addressing both frequency adaptivity and temporal continuity in explicit dynamic scene modeling. We introduce Adaptive Gabor Representation, extending Gaussians through learnable frequency weights and adaptive energy compensation to balance detail capture and stability. For temporal continuity, we employ Cubic Hermite Splines with Temporal Curvature Regularization to ensure smooth motion evolution. An Adaptive Initialization mechanism combining depth estimation, point tracking, and foreground masks establishes stable point cloud distributions in early training. Experiments on Tap-Vid DAVIS demonstrate state-of-the-art performance (PSNR 35.49, SSIM 0.9433, LPIPS 0.0723) and strong generalization across frame interpolation, depth consistency, video editing, and stereo view synthesis. Project page: https://jiewenchan.github.io/AdaGaR/