AsySplat: 장기 시퀀스 장면 모델링을 위한 효율적인 비대칭 3D 가우시안 스플래팅

초록

최근의 일반화 가능한 3D 가우시안 스플래팅 모델은 장기 시퀀스의 새로운 시점 합성(NVS)을 발전시켰지만, 상당한 중복 계산 비용이 발생합니다. 우리는 두 가지 관찰을 바탕으로 이러한 중복성을 완화할 수 있음을 확인했습니다: (i) 고정밀 기하학은 고품질 NVS에 엄격히 요구되지 않으며, (ii) 외관 학습은 일반적으로 기하학 복원보다 쉽습니다. 이러한 통찰에 기반하여, 우리는 기하학과 외관 모델링을 분리하는 비대칭 아키텍처를 제안합니다. 기하학 브랜치는 다중 뷰 재구성을 위해 대부분의 파라미터를 사용하여 거친 수준의 토큰을 처리하는 반면, 외관 브랜치는 현저히 적은 파라미터를 사용하여 세밀한 수준의 토큰을 처리하여 세부 사항을 포착합니다. 두 브랜치는 양방향 연결을 통해 상호 작용하여 각각의 작업에 대해 상호 지도를 가능하게 합니다. 이러한 작업 인식 비대칭성은 계산 중복성을 줄이고 계산을 보다 현명하게 할당하여 파라미터 효율성을 높이고 더 작은 모델이 강력한 성능을 달성할 수 있게 합니다. 32개의 시점에서 960P 입력에 대해, 우리 모델은 최적화 기반 방법과 일치하는 성능을 보이면서 거의 800배 속도 향상을 제공하며, 현저히 적은 파라미터와 감소된 학습/추론 오버헤드로 최첨단 일반화 가능 모델의 제로샷 성능을 능가하여 전반적인 효율성 개선을 달성합니다.

English

Recent generalizable 3D Gaussian Splatting models have advanced long-sequence novel view synthesis (NVS), but at the cost of substantial redundant computation. We identify that the redundancy can be mitigated based on two observations: (i) high-precision geometry is not strictly required for high-quality NVS; (ii) appearance learning is generally easier than geometry recovery. Motivated by these insights, we propose an asymmetric architecture that decouples geometry and appearance modeling. The geometry branch processes coarse-grained tokens with most of the parameters for multi-view reconstruction, while the appearance branch operates on fine-grained tokens to capture details using significantly fewer parameters. The two branches interact through bilateral connections, enabling mutual guidance for their respective tasks. This task-aware asymmetry reduces the computational redundancy and allocates the computation more judiciously, thereby increasing parameter efficiency and enabling smaller models to achieve strong performance. On 32-view 960P inputs, our model matches optimization-based methods while delivering nearly 800x speedup, and surpasses the zero-shot performance of state-of-the-art generalizable models with markedly fewer parameters and reduced training/inference overhead, achieving an overall efficiency improvement.