SplatWeaver: Aprendendo a Alocar Primitivas Gaussianas para Síntese de Novas Vistas Generalizável

Resumo

A síntese generalizável de novas vistas visa renderizar vistas não vistas a partir de imagens de entrada não calibradas, sem exigir otimização por cena. Abordagens recentes baseadas em alimentação direta (feed-forward) utilizando Splatting Gaussiano 3D alcançaram eficiência e qualidade de renderização promissoras. No entanto, a maioria delas atribui um número fixo de Gaussianos a cada pixel ou voxel, ignorando a complexidade espacialmente variável de cenas do mundo real. Essa alocação uniforme frequentemente desperdiça primitivas Gaussianas em regiões suaves, ao mesmo tempo que fornece capacidade insuficiente para estruturas finas, geometria complexa e detalhes de alta frequência. Isso nos motiva a prever cardinalidades de primitivas dependentes da região, em vez de impor um orçamento fixo de primitivas em toda a parte, permitindo uma representação de cena 3D mais expressiva e compacta. Portanto, propomos o SplatWeaver, uma estrutura generalizável de síntese de novas vistas capaz de alocar dinamicamente primitivas Gaussianas sobre diferentes regiões de maneira direta (feed-forward). Especificamente, o SplatWeaver introduz especialistas Gaussianos de cardinalidade e um esquema de roteamento no nível do pixel, no qual cada especialista se especializa em produzir um número específico de primitivas de 0 a M, e o esquema de roteamento coordena esses especialistas para determinar adaptativamente quantas primitivas Gaussianas devem ser alocadas a cada localização espacial. Além disso, o SplatWeaver incorpora um prior de alta frequência com um módulo de orientação associado e regularização de roteamento para estabilizar a seleção de especialistas e promover alocação sensível à complexidade. Ao aproveitar pistas estruturais de alta frequência, o processo de roteamento é incentivado a atribuir mais primitivas Gaussianas a estruturas finas, geometria complexa e regiões texturizadas, enquanto suprime primitivas redundantes em áreas suaves. Experimentos extensivos em diversos cenários mostram que o SplatWeaver supera consistentemente os métodos estado-da-arte, fornecendo renderizações de novas vistas mais fiéis com menos primitivas Gaussianas.

English

Generalizable novel view synthesis aims to render unseen views from uncalibrated input images without requiring per-scene optimization. Recent feed-forward approaches based on 3D Gaussian Splatting have achieved promising efficiency and rendering quality. However, most of them assign a fixed number of Gaussians to each pixel or voxel, ignoring the spatially varying complexity of real-world scenes. Such uniform allocation often wastes Gaussian primitives in smooth regions while providing insufficient capacity for fine structures, complex geometry, and high-frequency details. This motivates us to predict region-dependent primitive cardinalities rather than impose a fixed primitive budget everywhere, enabling a more expressive yet compact 3D scene representation. Therefore, we propose SplatWeaver, a generalizable novel view synthesis framework that is able to dynamically allocate Gaussian primitives over different regions in a feed-forward manner. Specifically, SplatWeaver introduces cardinality Gaussian experts and a pixel-level routing scheme, wherein each expert specializes in producing a specific number of primitives from 0 to M, and the routing scheme coordinates these experts to adaptively determine how many Gaussian primitives should be allocated to each spatial location. Moreover, SplatWeaver incorporates a high-frequency prior with attendant guidance module and routing regularization to stabilize expert selection and promote complexity-aware allocation. By leveraging high-frequency structural cues, the routing process is encouraged to assign more Gaussian primitives to fine structures, complex geometry, and textured regions, while suppressing redundant primitives in smooth areas. Extensive experiments across diverse scenarios show that SplatWeaver consistently outperforms state-of-the-art methods, delivering more faithful novel-view renderings with fewer Gaussian primitives.