SplatWeaver: Leren Toewijzen van Gaussische Primitieven voor Generaliseerbare Nieuwe Aanzichtsynthese

Samenvatting

Generaliseerbare nieuwe aanzichtssynthese heeft als doel om ongeziene aanzichten te renderen op basis van niet-gekalibreerde invoerafbeeldingen, zonder dat er per scène optimalisatie nodig is. Recente feed-forward-benaderingen op basis van 3D Gaussiaanse Splatting hebben veelbelovende efficiëntie en weergavekwaliteit laten zien. De meeste hiervan kennen echter een vast aantal Gaussianen toe aan elke pixel of voxel, waarbij ze geen rekening houden met de ruimtelijk variërende complexiteit van realistische scènes. Een dergelijke uniforme toewijzing verspilt vaak Gaussiaanse primitieven in gladde gebieden, terwijl er onvoldoende capaciteit is voor fijne structuren, complexe geometrie en hoogfrequente details. Dit motiveert ons om regioafhankelijke primitiefkardinaliteiten te voorspellen in plaats van overal een vast primitievenbudget op te leggen, wat een expressievere maar compacte 3D-scènerepresentatie mogelijk maakt. Daarom stellen we SplatWeaver voor, een generaliseerbaar nieuw aanzichtssyntheseframework dat in staat is om op een feed-forward-manier dynamisch Gaussiaanse primitieven over verschillende regio's toe te wijzen. Specifiek introduceert SplatWeaver kardinaliteit Gaussiaanse experts en een pixelniveau-routeringsschema, waarbij elke expert gespecialiseerd is in het produceren van een specifiek aantal primitieven van 0 tot M, en het routeringsschema deze experts coördineert om adaptief te bepalen hoeveel Gaussiaanse primitieven aan elke ruimtelijke locatie moeten worden toegewezen. Bovendien bevat SplatWeaver een hoogfrequente prior met een bijbehorende begeleidingsmodule en routeringsregularisatie om de expertselectie te stabiliseren en complexiteitsbewuste toewijzing te bevorderen. Door gebruik te maken van hoogfrequente structurele aanwijzingen wordt het routeringsproces gestimuleerd om meer Gaussiaanse primitieven toe te wijzen aan fijne structuren, complexe geometrie en getextureerde gebieden, terwijl overbodige primitieven in gladde gebieden worden onderdrukt. Uitgebreide experimenten in diverse scenario's tonen aan dat SplatWeaver consequent beter presteert dan state-of-the-art methoden, met getrouwere weergaven van nieuwe aanzichten en minder Gaussiaanse primitieven.

English

Generalizable novel view synthesis aims to render unseen views from uncalibrated input images without requiring per-scene optimization. Recent feed-forward approaches based on 3D Gaussian Splatting have achieved promising efficiency and rendering quality. However, most of them assign a fixed number of Gaussians to each pixel or voxel, ignoring the spatially varying complexity of real-world scenes. Such uniform allocation often wastes Gaussian primitives in smooth regions while providing insufficient capacity for fine structures, complex geometry, and high-frequency details. This motivates us to predict region-dependent primitive cardinalities rather than impose a fixed primitive budget everywhere, enabling a more expressive yet compact 3D scene representation. Therefore, we propose SplatWeaver, a generalizable novel view synthesis framework that is able to dynamically allocate Gaussian primitives over different regions in a feed-forward manner. Specifically, SplatWeaver introduces cardinality Gaussian experts and a pixel-level routing scheme, wherein each expert specializes in producing a specific number of primitives from 0 to M, and the routing scheme coordinates these experts to adaptively determine how many Gaussian primitives should be allocated to each spatial location. Moreover, SplatWeaver incorporates a high-frequency prior with attendant guidance module and routing regularization to stabilize expert selection and promote complexity-aware allocation. By leveraging high-frequency structural cues, the routing process is encouraged to assign more Gaussian primitives to fine structures, complex geometry, and textured regions, while suppressing redundant primitives in smooth areas. Extensive experiments across diverse scenarios show that SplatWeaver consistently outperforms state-of-the-art methods, delivering more faithful novel-view renderings with fewer Gaussian primitives.