Hi3DGen: Generación de geometría 3D de alta fidelidad a partir de imágenes mediante puenteo de normales

Hi3DGen: High-fidelity 3D Geometry Generation from Images via Normal Bridging

March 28, 2025

Autores: Chongjie Ye, Yushuang Wu, Ziteng Lu, Jiahao Chang, Xiaoyang Guo, Jiaqing Zhou, Hao Zhao, Xiaoguang Han

cs.AI

Resumen

Con la creciente demanda de modelos 3D de alta fidelidad a partir de imágenes 2D, los métodos existentes aún enfrentan desafíos significativos para reproducir con precisión detalles geométricos finos debido a las limitaciones en las brechas de dominio y las ambigüedades inherentes en las imágenes RGB. Para abordar estos problemas, proponemos Hi3DGen, un marco novedoso para generar geometría 3D de alta fidelidad a partir de imágenes mediante la intermediación de mapas normales. Hi3DGen consta de tres componentes clave: (1) un estimador de imagen a normal que desacopla el patrón de imagen de baja y alta frecuencia con inyección de ruido y entrenamiento de doble flujo para lograr una estimación generalizable, estable y precisa; (2) un enfoque de aprendizaje de normal a geometría que utiliza aprendizaje de difusión latente regularizada por normales para mejorar la fidelidad en la generación de geometría 3D; y (3) una pipeline de síntesis de datos 3D que construye un conjunto de datos de alta calidad para respaldar el entrenamiento. Experimentos exhaustivos demuestran la efectividad y superioridad de nuestro marco en la generación de detalles geométricos ricos, superando a los métodos más avanzados en términos de fidelidad. Nuestro trabajo proporciona una nueva dirección para la generación de geometría 3D de alta fidelidad a partir de imágenes al aprovechar los mapas normales como una representación intermedia.

English

With the growing demand for high-fidelity 3D models from 2D images, existing methods still face significant challenges in accurately reproducing fine-grained geometric details due to limitations in domain gaps and inherent ambiguities in RGB images. To address these issues, we propose Hi3DGen, a novel framework for generating high-fidelity 3D geometry from images via normal bridging. Hi3DGen consists of three key components: (1) an image-to-normal estimator that decouples the low-high frequency image pattern with noise injection and dual-stream training to achieve generalizable, stable, and sharp estimation; (2) a normal-to-geometry learning approach that uses normal-regularized latent diffusion learning to enhance 3D geometry generation fidelity; and (3) a 3D data synthesis pipeline that constructs a high-quality dataset to support training. Extensive experiments demonstrate the effectiveness and superiority of our framework in generating rich geometric details, outperforming state-of-the-art methods in terms of fidelity. Our work provides a new direction for high-fidelity 3D geometry generation from images by leveraging normal maps as an intermediate representation.