Hi3DGen : Génération de géométrie 3D haute fidélité à partir d'images via un pontage des normales

Hi3DGen: High-fidelity 3D Geometry Generation from Images via Normal Bridging

March 28, 2025

papers.authors: Chongjie Ye, Yushuang Wu, Ziteng Lu, Jiahao Chang, Xiaoyang Guo, Jiaqing Zhou, Hao Zhao, Xiaoguang Han

cs.AI

papers.abstract

Face à la demande croissante de modèles 3D haute fidélité à partir d'images 2D, les méthodes existantes rencontrent encore des défis importants pour reproduire avec précision les détails géométriques fins, en raison des écarts de domaine et des ambiguïtés inhérentes aux images RGB. Pour résoudre ces problèmes, nous proposons Hi3DGen, un nouveau cadre pour générer une géométrie 3D haute fidélité à partir d'images via une représentation intermédiaire de cartes normales. Hi3DGen se compose de trois éléments clés : (1) un estimateur image-vers-normale qui découple les motifs d'image basse et haute fréquence avec injection de bruit et un entraînement à double flux pour obtenir une estimation généralisable, stable et précise ; (2) une approche d'apprentissage normale-vers-géométrie qui utilise un apprentissage par diffusion latente régularisé par les normales pour améliorer la fidélité de la génération de géométrie 3D ; et (3) un pipeline de synthèse de données 3D qui construit un jeu de données de haute qualité pour soutenir l'entraînement. Des expériences approfondies démontrent l'efficacité et la supériorité de notre cadre pour générer des détails géométriques riches, surpassant les méthodes de pointe en termes de fidélité. Notre travail ouvre une nouvelle direction pour la génération de géométrie 3D haute fidélité à partir d'images en exploitant les cartes normales comme représentation intermédiaire.

English

With the growing demand for high-fidelity 3D models from 2D images, existing methods still face significant challenges in accurately reproducing fine-grained geometric details due to limitations in domain gaps and inherent ambiguities in RGB images. To address these issues, we propose Hi3DGen, a novel framework for generating high-fidelity 3D geometry from images via normal bridging. Hi3DGen consists of three key components: (1) an image-to-normal estimator that decouples the low-high frequency image pattern with noise injection and dual-stream training to achieve generalizable, stable, and sharp estimation; (2) a normal-to-geometry learning approach that uses normal-regularized latent diffusion learning to enhance 3D geometry generation fidelity; and (3) a 3D data synthesis pipeline that constructs a high-quality dataset to support training. Extensive experiments demonstrate the effectiveness and superiority of our framework in generating rich geometric details, outperforming state-of-the-art methods in terms of fidelity. Our work provides a new direction for high-fidelity 3D geometry generation from images by leveraging normal maps as an intermediate representation.