RodinHD: Создание трехмерных аватаров высокой точности с помощью моделей диффузии

RodinHD: High-Fidelity 3D Avatar Generation with Diffusion Models

July 9, 2024

Авторы: Bowen Zhang, Yiji Cheng, Chunyu Wang, Ting Zhang, Jiaolong Yang, Yansong Tang, Feng Zhao, Dong Chen, Baining Guo

cs.AI

Аннотация

Мы представляем RodinHD, способный генерировать трехмерные аватары высокой точности из изображения портрета. Существующие методы не могут передать сложные детали, такие как прически, с чем мы справляемся в данной статье. Сначала мы выявляем недооцененную проблему катастрофического забывания, возникающую при последовательном подгоне трипланов к множеству аватар, вызванную схемой общего использования декодера MLP. Для преодоления этой проблемы мы предлагаем новую стратегию планирования данных и регуляризацию консолидации весов, которая улучшает способность декодера создавать более четкие детали. Кроме того, мы оптимизируем направляющий эффект изображения портрета, вычисляя более детализированное иерархическое представление, захватывающее богатые текстурные подсказки 2D, и внедряем их в 3D модель диффузии на нескольких уровнях с помощью кросс-внимания. Обученная на 46 тыс. аватарах с оптимизированным графиком шума для трипланов, полученная модель способна генерировать трехмерные аватары с значительно лучшими деталями, чем предыдущие методы, и может обобщаться на портретный вход в естественной среде.

English

We present RodinHD, which can generate high-fidelity 3D avatars from a portrait image. Existing methods fail to capture intricate details such as hairstyles which we tackle in this paper. We first identify an overlooked problem of catastrophic forgetting that arises when fitting triplanes sequentially on many avatars, caused by the MLP decoder sharing scheme. To overcome this issue, we raise a novel data scheduling strategy and a weight consolidation regularization term, which improves the decoder's capability of rendering sharper details. Additionally, we optimize the guiding effect of the portrait image by computing a finer-grained hierarchical representation that captures rich 2D texture cues, and injecting them to the 3D diffusion model at multiple layers via cross-attention. When trained on 46K avatars with a noise schedule optimized for triplanes, the resulting model can generate 3D avatars with notably better details than previous methods and can generalize to in-the-wild portrait input.