Hergebruik van Geometrische Fundamentmodellen voor Multi-view Diffusie
Repurposing Geometric Foundation Models for Multi-view Diffusion
March 23, 2026
Auteurs: Wooseok Jang, Seonghu Jeon, Jisang Han, Jinhyeok Choi, Minkyung Kwon, Seungryong Kim, Saining Xie, Sainan Liu
cs.AI
Samenvatting
Hoewel recente vooruitgang in generatieve latente ruimten aanzienlijke progressie heeft geboekt in de generatie van enkele afbeeldingen, blijft de optimale latente ruimte voor novel view synthesis (NVS) grotendeels onontgonnen. NVS vereist in het bijzonder een geometrisch consistente generatie over verschillende gezichtspunten, maar bestaande benaderingen werken typisch in een view-onafhankelijke VAE-latente ruimte. In dit artikel stellen we Geometric Latent Diffusion (GLD) voor, een raamwerk dat de geometrisch consistente feature-ruimte van geometrische foundation-modellen hergebruikt als de latente ruimte voor multi-view diffusie. We tonen aan dat deze features niet alleen hoogwaardige RGB-reconstructie ondersteunen, maar ook sterke geometrische correspondenties tussen views coderen, wat een goed geschikte latente ruimte voor NVS biedt. Onze experimenten tonen aan dat GLD zowel VAE als RAE overtreft op het gebied van 2D-beeldkwaliteit en 3D-consistentiemetrieken, terwijl de training met meer dan 4,4x wordt versneld in vergelijking met de VAE-latente ruimte. Opmerkelijk is dat GLD competitief blijft met state-of-the-art methoden die gebruikmaken van grootschalige text-to-image pre-training, ondanks het feit dat het diffusiemodel vanaf nul wordt getraind zonder dergelijke generatieve pre-training.
English
While recent advances in generative latent spaces have driven substantial progress in single-image generation, the optimal latent space for novel view synthesis (NVS) remains largely unexplored. In particular, NVS requires geometrically consistent generation across viewpoints, but existing approaches typically operate in a view-independent VAE latent space. In this paper, we propose Geometric Latent Diffusion (GLD), a framework that repurposes the geometrically consistent feature space of geometric foundation models as the latent space for multi-view diffusion. We show that these features not only support high-fidelity RGB reconstruction but also encode strong cross-view geometric correspondences, providing a well-suited latent space for NVS. Our experiments demonstrate that GLD outperforms both VAE and RAE on 2D image quality and 3D consistency metrics, while accelerating training by more than 4.4x compared to the VAE latent space. Notably, GLD remains competitive with state-of-the-art methods that leverage large-scale text-to-image pretraining, despite training its diffusion model from scratch without such generative pretraining.