Перепрофилирование геометрических базовых моделей для многовидовой диффузии

Аннотация

Хотя недавние достижения в области генеративных латентных пространств обеспечили значительный прогресс в генерации одиночных изображений, оптимальное латентное пространство для синтеза новых ракурсов (NVS) остаётся в значительной степени неисследованным. В частности, NVS требует геометрически согласованной генерации между различными точками обзора, однако существующие подходы обычно работают в независимом от вида латентном пространстве VAE. В данной статье мы предлагаем Geometric Latent Diffusion (GLD) — фреймворк, который перепрофилирует геометрически согласованное пространство признаков моделей геометрического фундамента в качестве латентного пространства для мультивьюзовской диффузии. Мы показываем, что эти признаки не только обеспечивают высокоточную реконструкцию RGB, но и кодируют сильные геометрические соответствия между ракурсами, создавая хорошо подходящее латентное пространство для NVS. Наши эксперименты демонстрируют, что GLD превосходит как VAE, так и RAE по метрикам качества 2D-изображений и 3D-согласованности, одновременно ускоряя обучение более чем в 4,4 раза по сравнению с латентным пространством VAE. Примечательно, что GLD остаётся конкурентоспособным с передовыми методами, использующими крупномасштабное предварительное обучение на текстово-изображенческих данных, несмотря на обучение своей диффузионной модели с нуля без такого генеративного предобучения.

English

While recent advances in generative latent spaces have driven substantial progress in single-image generation, the optimal latent space for novel view synthesis (NVS) remains largely unexplored. In particular, NVS requires geometrically consistent generation across viewpoints, but existing approaches typically operate in a view-independent VAE latent space. In this paper, we propose Geometric Latent Diffusion (GLD), a framework that repurposes the geometrically consistent feature space of geometric foundation models as the latent space for multi-view diffusion. We show that these features not only support high-fidelity RGB reconstruction but also encode strong cross-view geometric correspondences, providing a well-suited latent space for NVS. Our experiments demonstrate that GLD outperforms both VAE and RAE on 2D image quality and 3D consistency metrics, while accelerating training by more than 4.4x compared to the VAE latent space. Notably, GLD remains competitive with state-of-the-art methods that leverage large-scale text-to-image pretraining, despite training its diffusion model from scratch without such generative pretraining.

Перепрофилирование геометрических базовых моделей для многовидовой диффузии

Repurposing Geometric Foundation Models for Multi-view Diffusion

Аннотация

Support