AdaGaR: Adaptieve Gabor-representatie voor dynamische scène-reconstructie

AdaGaR: Adaptive Gabor Representation for Dynamic Scene Reconstruction

January 2, 2026

Auteurs: Jiewen Chan, Zhenjun Zhao, Yu-Lun Liu

cs.AI

Samenvatting

Het reconstrueren van dynamische 3D-scènes uit monovideo's vereist het gelijktijdig vastleggen van hoogfrequente uiterlijke details en temporeel continue beweging. Bestaande methoden die gebruikmaken van enkele Gauss-primitieven worden beperkt door hun laagdoorlaat-filterende aard, terwijl standaard Gabor-functies energie-instabiliteit introduceren. Bovendien leidt het ontbreken van temporele continuïteitsbeperkingen vaak tot bewegingsartefacten tijdens interpolatie. Wij presenteren AdaGaR, een uniform raamwerk dat zowel frequentie-adaptiviteit als temporele continuïteit aanpakt bij expliciete modellering van dynamische scènes. Wij introduceren Adaptieve Gabor-representatie, die Gauss-primitieven uitbreidt met leerbare frequentiegewichten en adaptieve energiecompensatie om detailvastlegging en stabiliteit in evenwicht te brengen. Voor temporele continuïteit zetten we Kubieke Hermite-splines in met Temporele Kromming Regularisatie om een vloeiende bewegingsontwikkeling te garanderen. Een Adaptief Initialisatiemechanisme dat diepteschatting, puntvolging en voorgrondmaskers combineert, legt stabiele puntenwolkverdelingen vast in de vroege trainingsfase. Experimenten op Tap-Vid DAVIS tonen state-of-the-art prestaties aan (PSNR 35.49, SSIM 0.9433, LPIPS 0.0723) en sterke generalisatie over frame-interpolatie, diepteconsistentie, videobewerking en stereoscopische viewsynthese. Projectpagina: https://jiewenchan.github.io/AdaGaR/

English

Reconstructing dynamic 3D scenes from monocular videos requires simultaneously capturing high-frequency appearance details and temporally continuous motion. Existing methods using single Gaussian primitives are limited by their low-pass filtering nature, while standard Gabor functions introduce energy instability. Moreover, lack of temporal continuity constraints often leads to motion artifacts during interpolation. We propose AdaGaR, a unified framework addressing both frequency adaptivity and temporal continuity in explicit dynamic scene modeling. We introduce Adaptive Gabor Representation, extending Gaussians through learnable frequency weights and adaptive energy compensation to balance detail capture and stability. For temporal continuity, we employ Cubic Hermite Splines with Temporal Curvature Regularization to ensure smooth motion evolution. An Adaptive Initialization mechanism combining depth estimation, point tracking, and foreground masks establishes stable point cloud distributions in early training. Experiments on Tap-Vid DAVIS demonstrate state-of-the-art performance (PSNR 35.49, SSIM 0.9433, LPIPS 0.0723) and strong generalization across frame interpolation, depth consistency, video editing, and stereo view synthesis. Project page: https://jiewenchan.github.io/AdaGaR/