AdaGaR: 동적 장면 재구성을 위한 적응형 가버 표현

AdaGaR: Adaptive Gabor Representation for Dynamic Scene Reconstruction

January 2, 2026

저자: Jiewen Chan, Zhenjun Zhao, Yu-Lun Liu

cs.AI

초록

단안 비디오로부터 동적 3D 장면을 재구성하려면 고주파 외관 세부 사항과 시간적 연속 운동을 동시에 포착해야 합니다. 단일 가우시안 프리미티브를 사용하는 기존 방법은 저역통과 필터링 특성에 의해 제한되는 반면, 표준 가버 함수는 에너지 불안정성을 초래합니다. 또한 시간적 연속성 제약의 부재는 보간 시 운동 아티팩트를 유발하는 경우가 많습니다. 우리는 명시적 동적 장면 모델링에서 주파수 적응성과 시간적 연속성 모두를 해결하는 통합 프레임워크인 AdaGaR을 제안합니다. 세부 포착과 안정성의 균형을 위해 학습 가능한 주파수 가중치와 적응형 에너지 보상을 통해 가우시안을 확장하는 Adaptive Gabor Representation을 도입했습니다. 시간적 연속성을 위해 우리는 부드러운 운동 진화를 보장하기 위해 Temporal Curvature Regularization이 적용된 Cubic Hermite Splines을 활용합니다. 깊이 추정, 포인트 추적, 전경 마스크를 결합한 Adaptive Initialization 메커니즘은 초기 학습에서 안정적인 포인트 클라우드 분포를 설정합니다. Tap-Vid DAVIS에서의 실험은 최첨단 성능(PSNR 35.49, SSIM 0.9433, LPIPS 0.0723)과 프레임 보간, 깊이 일관성, 비디오 편집, 스테레오 뷰 합성 전반의 강력한 일반화 능력을 입증했습니다. 프로젝트 페이지: https://jiewenchan.github.io/AdaGaR/

English

Reconstructing dynamic 3D scenes from monocular videos requires simultaneously capturing high-frequency appearance details and temporally continuous motion. Existing methods using single Gaussian primitives are limited by their low-pass filtering nature, while standard Gabor functions introduce energy instability. Moreover, lack of temporal continuity constraints often leads to motion artifacts during interpolation. We propose AdaGaR, a unified framework addressing both frequency adaptivity and temporal continuity in explicit dynamic scene modeling. We introduce Adaptive Gabor Representation, extending Gaussians through learnable frequency weights and adaptive energy compensation to balance detail capture and stability. For temporal continuity, we employ Cubic Hermite Splines with Temporal Curvature Regularization to ensure smooth motion evolution. An Adaptive Initialization mechanism combining depth estimation, point tracking, and foreground masks establishes stable point cloud distributions in early training. Experiments on Tap-Vid DAVIS demonstrate state-of-the-art performance (PSNR 35.49, SSIM 0.9433, LPIPS 0.0723) and strong generalization across frame interpolation, depth consistency, video editing, and stereo view synthesis. Project page: https://jiewenchan.github.io/AdaGaR/