SplatWeaver : Apprentissage de l'allocation de primitives gaussiennes pour la synthèse de nouvelles vues généralisable

Résumé

La synthèse de nouvelles vues généralisable vise à générer des vues non observées à partir d'images d'entrée non calibrées, sans nécessiter d'optimisation par scène. Les approches récentes de type feed-forward basées sur le 3D Gaussian Splatting ont atteint une efficacité et une qualité de rendu prometteuses. Cependant, la plupart d'entre elles attribuent un nombre fixe de gaussiennes à chaque pixel ou voxel, ignorant la complexité spatialement variable des scènes réelles. Une telle allocation uniforme gaspille souvent les primitives gaussiennes dans les régions lisses, tout en offrant une capacité insuffisante pour les structures fines, la géométrie complexe et les détails haute fréquence. Ce constat nous motive à prédire des cardinalités de primitives dépendantes de la région plutôt que d'imposer un budget de primitives fixe partout, permettant ainsi une représentation de scène 3D plus expressive tout en restant compacte. Nous proposons donc SplatWeaver, un cadre de synthèse de nouvelles vues généralisable capable d'allouer dynamiquement des primitives gaussiennes sur différentes régions de manière feed-forward. Plus précisément, SplatWeaver introduit des experts de cardinalité gaussienne et un mécanisme de routage au niveau du pixel, où chaque expert se spécialise dans la production d'un nombre spécifique de primitives (de 0 à M), et le mécanisme de routage coordonne ces experts pour déterminer de manière adaptative le nombre de primitives gaussiennes à allouer à chaque emplacement spatial. De plus, SplatWeaver intègre un prior haute fréquence avec un module d'orientation associé et une régularisation du routage pour stabiliser la sélection des experts et promouvoir une allocation consciente de la complexité. En exploitant les indices structurels haute fréquence, le processus de routage est encouragé à attribuer davantage de primitives gaussiennes aux structures fines, à la géométrie complexe et aux régions texturées, tout en supprimant les primitives redondantes dans les zones lisses. Des expériences approfondies menées sur divers scénarios montrent que SplatWeaver surpasse systématiquement les méthodes de pointe, en produisant des rendus de nouvelles vues plus fidèles avec moins de primitives gaussiennes.

English

Generalizable novel view synthesis aims to render unseen views from uncalibrated input images without requiring per-scene optimization. Recent feed-forward approaches based on 3D Gaussian Splatting have achieved promising efficiency and rendering quality. However, most of them assign a fixed number of Gaussians to each pixel or voxel, ignoring the spatially varying complexity of real-world scenes. Such uniform allocation often wastes Gaussian primitives in smooth regions while providing insufficient capacity for fine structures, complex geometry, and high-frequency details. This motivates us to predict region-dependent primitive cardinalities rather than impose a fixed primitive budget everywhere, enabling a more expressive yet compact 3D scene representation. Therefore, we propose SplatWeaver, a generalizable novel view synthesis framework that is able to dynamically allocate Gaussian primitives over different regions in a feed-forward manner. Specifically, SplatWeaver introduces cardinality Gaussian experts and a pixel-level routing scheme, wherein each expert specializes in producing a specific number of primitives from 0 to M, and the routing scheme coordinates these experts to adaptively determine how many Gaussian primitives should be allocated to each spatial location. Moreover, SplatWeaver incorporates a high-frequency prior with attendant guidance module and routing regularization to stabilize expert selection and promote complexity-aware allocation. By leveraging high-frequency structural cues, the routing process is encouraged to assign more Gaussian primitives to fine structures, complex geometry, and textured regions, while suppressing redundant primitives in smooth areas. Extensive experiments across diverse scenarios show that SplatWeaver consistently outperforms state-of-the-art methods, delivering more faithful novel-view renderings with fewer Gaussian primitives.