Wiederverwendung geometrischer Fundamentalmodelle für Multi-View-Diffusion

Zusammenfassung

Während jüngste Fortschritte bei generativen latenten Räumen erhebliche Verbesserungen in der Einzelbildgenerierung bewirkt haben, ist der optimale latente Raum für die Synthese neuartiger Ansichten (Novel View Synthesis, NVS) weitgehend unerforscht. Insbesondere erfordert NVS eine geometrisch konsistente Generierung über verschiedene Blickwinkel hinweg, doch bestehende Ansätze operieren typischerweise in einem blickunabhängigen VAE-latenten Raum. In diesem Beitrag schlagen wir Geometric Latent Diffusion (GLD) vor, ein Framework, das den geometrisch konsistenten Merkmalsraum geometrischer Foundation-Modelle als latenten Raum für Multi-View-Diffusion nutzbar macht. Wir zeigen, dass diese Merkmale nicht nur eine hochpräzise RGB-Rekonstruktion unterstützen, sondern auch starke geometrische Korrespondenzen zwischen Ansichten kodieren, was einen gut geeigneten latenten Raum für NVS bereitstellt. Unsere Experimente belegen, dass GLD sowohl VAE als auch RAE in Bezug auf 2D-Bildqualität und 3D-Konsistenzmetriken übertrifft und dabei das Training im Vergleich zum VAE-latenten Raum um mehr als das 4,4-fache beschleunigt. Bemerkenswerterweise bleibt GLD wettbewerbsfähig mit state-of-the-art Methoden, die großskaliges Text-zu-Bild-Pre-Training nutzen, obwohl sein Diffusionsmodell von Grund auf ohne ein solches generatives Pre-Training trainiert wird.

English

While recent advances in generative latent spaces have driven substantial progress in single-image generation, the optimal latent space for novel view synthesis (NVS) remains largely unexplored. In particular, NVS requires geometrically consistent generation across viewpoints, but existing approaches typically operate in a view-independent VAE latent space. In this paper, we propose Geometric Latent Diffusion (GLD), a framework that repurposes the geometrically consistent feature space of geometric foundation models as the latent space for multi-view diffusion. We show that these features not only support high-fidelity RGB reconstruction but also encode strong cross-view geometric correspondences, providing a well-suited latent space for NVS. Our experiments demonstrate that GLD outperforms both VAE and RAE on 2D image quality and 3D consistency metrics, while accelerating training by more than 4.4x compared to the VAE latent space. Notably, GLD remains competitive with state-of-the-art methods that leverage large-scale text-to-image pretraining, despite training its diffusion model from scratch without such generative pretraining.

Wiederverwendung geometrischer Fundamentalmodelle für Multi-View-Diffusion

Repurposing Geometric Foundation Models for Multi-view Diffusion

Zusammenfassung

Support