Hi3DGen: Generatie van hoogwaardige 3D-geometrie uit afbeeldingen via normaalverbinding

Hi3DGen: High-fidelity 3D Geometry Generation from Images via Normal Bridging

March 28, 2025

Auteurs: Chongjie Ye, Yushuang Wu, Ziteng Lu, Jiahao Chang, Xiaoyang Guo, Jiaqing Zhou, Hao Zhao, Xiaoguang Han

cs.AI

Samenvatting

Met de groeiende vraag naar hoogwaardige 3D-modellen op basis van 2D-beelden, kampen bestaande methoden nog steeds met aanzienlijke uitdagingen bij het nauwkeurig reproduceren van fijnmazige geometrische details vanwege beperkingen in domeinkloof en inherente ambiguïteiten in RGB-beelden. Om deze problemen aan te pakken, stellen we Hi3DGen voor, een nieuw raamwerk voor het genereren van hoogwaardige 3D-geometrie uit beelden via normal bridging. Hi3DGen bestaat uit drie belangrijke componenten: (1) een beeld-naar-normaal schatter die het laag-hoogfrequent beeldpatroon ontkoppelt met ruisinjectie en dual-stream training om generaliseerbare, stabiele en scherpe schattingen te bereiken; (2) een normaal-naar-geometrie leerbenadering die gebruikmaakt van normal-gereguleerd latent diffusie leren om de kwaliteit van 3D-geometriegeneratie te verbeteren; en (3) een 3D-datasynthesepijplijn die een hoogwaardige dataset construeert om de training te ondersteunen. Uitgebreide experimenten tonen de effectiviteit en superioriteit van ons raamwerk aan bij het genereren van rijke geometrische details, waarbij het state-of-the-art methoden overtreft op het gebied van kwaliteit. Ons werk biedt een nieuwe richting voor het genereren van hoogwaardige 3D-geometrie uit beelden door normal maps te gebruiken als een tussenliggende representatie.

English

With the growing demand for high-fidelity 3D models from 2D images, existing methods still face significant challenges in accurately reproducing fine-grained geometric details due to limitations in domain gaps and inherent ambiguities in RGB images. To address these issues, we propose Hi3DGen, a novel framework for generating high-fidelity 3D geometry from images via normal bridging. Hi3DGen consists of three key components: (1) an image-to-normal estimator that decouples the low-high frequency image pattern with noise injection and dual-stream training to achieve generalizable, stable, and sharp estimation; (2) a normal-to-geometry learning approach that uses normal-regularized latent diffusion learning to enhance 3D geometry generation fidelity; and (3) a 3D data synthesis pipeline that constructs a high-quality dataset to support training. Extensive experiments demonstrate the effectiveness and superiority of our framework in generating rich geometric details, outperforming state-of-the-art methods in terms of fidelity. Our work provides a new direction for high-fidelity 3D geometry generation from images by leveraging normal maps as an intermediate representation.