Riutilizzo di modelli geometrici di base per la diffusione multi-vista

Repurposing Geometric Foundation Models for Multi-view Diffusion

March 23, 2026

Autori: Wooseok Jang, Seonghu Jeon, Jisang Han, Jinhyeok Choi, Minkyung Kwon, Seungryong Kim, Saining Xie, Sainan Liu

cs.AI

Abstract

Mentre i recenti progressi negli spazi latenti generativi hanno guidato sostanziali avanzamenti nella generazione di immagini singole, lo spazio latente ottimale per la sintesi di nuove viste (Novel View Synthesis, NVS) rimane in gran parte inesplorato. In particolare, la NVS richiede una generazione geometricamente coerente tra diversi punti di vista, ma gli approcci esistenti operano tipicamente in uno spazio latente VAE indipendente dalla vista. In questo articolo, proponiamo la Geometric Latent Diffusion (GLD), un framework che riadatta lo spazio delle feature geometricamente coerenti dei modelli fondazionali geometrici come spazio latente per la diffusione multi-vista. Dimostriamo che queste feature non solo supportano una ricostruzione RGB ad alta fedeltà, ma codificano anche forti corrispondenze geometriche tra le viste, fornendo uno spazio latente ben adatto per la NVS. I nostri esperimenti dimostrano che GLD supera sia VAE che RAE nelle metriche di qualità dell'immagine 2D e di coerenza 3D, accelerando al contempo l'addestramento di oltre 4,4 volte rispetto allo spazio latente VAE. È degno di nota che GLD rimanga competitivo con i metodi all'avanguardia che sfruttano il pre-addestramento su larga scala text-to-image, nonostante addestri il suo modello di diffusione da zero senza tale pre-addestramento generativo.

English

While recent advances in generative latent spaces have driven substantial progress in single-image generation, the optimal latent space for novel view synthesis (NVS) remains largely unexplored. In particular, NVS requires geometrically consistent generation across viewpoints, but existing approaches typically operate in a view-independent VAE latent space. In this paper, we propose Geometric Latent Diffusion (GLD), a framework that repurposes the geometrically consistent feature space of geometric foundation models as the latent space for multi-view diffusion. We show that these features not only support high-fidelity RGB reconstruction but also encode strong cross-view geometric correspondences, providing a well-suited latent space for NVS. Our experiments demonstrate that GLD outperforms both VAE and RAE on 2D image quality and 3D consistency metrics, while accelerating training by more than 4.4x compared to the VAE latent space. Notably, GLD remains competitive with state-of-the-art methods that leverage large-scale text-to-image pretraining, despite training its diffusion model from scratch without such generative pretraining.