Hi3DGen: Генерация высококачественной 3D-геометрии из изображений с использованием нормалей в качестве связующего элемента

Hi3DGen: High-fidelity 3D Geometry Generation from Images via Normal Bridging

March 28, 2025

Авторы: Chongjie Ye, Yushuang Wu, Ziteng Lu, Jiahao Chang, Xiaoyang Guo, Jiaqing Zhou, Hao Zhao, Xiaoguang Han

cs.AI

Аннотация

С растущим спросом на высококачественные 3D-модели, создаваемые из 2D-изображений, существующие методы по-прежнему сталкиваются с серьезными трудностями в точном воспроизведении детализированных геометрических особенностей из-за ограничений, связанных с разрывом доменов и внутренними неоднозначностями RGB-изображений. Для решения этих проблем мы предлагаем Hi3DGen — новый фреймворк для генерации высококачественной 3D-геометрии из изображений с использованием карт нормалей в качестве промежуточного представления. Hi3DGen состоит из трех ключевых компонентов: (1) оценщика изображений в нормали, который разделяет низко- и высокочастотные паттерны изображения с использованием инъекции шума и двухпоточного обучения для достижения обобщаемой, стабильной и четкой оценки; (2) подхода обучения от нормалей к геометрии, который использует латентное диффузионное обучение с регуляризацией нормалей для повышения точности генерации 3D-геометрии; и (3) конвейера синтеза 3D-данных, который создает высококачественный набор данных для поддержки обучения. Многочисленные эксперименты демонстрируют эффективность и превосходство нашего фреймворка в генерации богатых геометрических деталей, превосходящего современные методы по точности. Наша работа открывает новое направление для генерации высококачественной 3D-геометрии из изображений, используя карты нормалей в качестве промежуточного представления.

English

With the growing demand for high-fidelity 3D models from 2D images, existing methods still face significant challenges in accurately reproducing fine-grained geometric details due to limitations in domain gaps and inherent ambiguities in RGB images. To address these issues, we propose Hi3DGen, a novel framework for generating high-fidelity 3D geometry from images via normal bridging. Hi3DGen consists of three key components: (1) an image-to-normal estimator that decouples the low-high frequency image pattern with noise injection and dual-stream training to achieve generalizable, stable, and sharp estimation; (2) a normal-to-geometry learning approach that uses normal-regularized latent diffusion learning to enhance 3D geometry generation fidelity; and (3) a 3D data synthesis pipeline that constructs a high-quality dataset to support training. Extensive experiments demonstrate the effectiveness and superiority of our framework in generating rich geometric details, outperforming state-of-the-art methods in terms of fidelity. Our work provides a new direction for high-fidelity 3D geometry generation from images by leveraging normal maps as an intermediate representation.