RodinHD: Geração de Avatar 3D de Alta Fidelidade com Modelos de Difusão

RodinHD: High-Fidelity 3D Avatar Generation with Diffusion Models

July 9, 2024

Autores: Bowen Zhang, Yiji Cheng, Chunyu Wang, Ting Zhang, Jiaolong Yang, Yansong Tang, Feng Zhao, Dong Chen, Baining Guo

cs.AI

Resumo

Apresentamos o RodinHD, que pode gerar avatares 3D de alta fidelidade a partir de uma imagem de retrato. Métodos existentes falham em capturar detalhes intricados como penteados, os quais abordamos neste artigo. Primeiramente, identificamos um problema negligenciado de esquecimento catastrófico que surge ao ajustar triplanos sequencialmente em muitos avatares, causado pelo esquema de compartilhamento do decodificador MLP. Para superar essa questão, propomos uma nova estratégia de agendamento de dados e um termo de regularização de consolidação de pesos, que melhora a capacidade do decodificador de renderizar detalhes mais nítidos. Adicionalmente, otimizamos o efeito orientador da imagem de retrato calculando uma representação hierárquica mais refinada que captura pistas de textura 2D ricas, e as injetamos no modelo de difusão 3D em múltiplas camadas via atenção cruzada. Quando treinado em 46 mil avatares com um agendamento de ruído otimizado para triplanos, o modelo resultante pode gerar avatares 3D com detalhes significativamente melhores do que métodos anteriores e pode generalizar para entradas de retrato em ambientes naturais.

English

We present RodinHD, which can generate high-fidelity 3D avatars from a portrait image. Existing methods fail to capture intricate details such as hairstyles which we tackle in this paper. We first identify an overlooked problem of catastrophic forgetting that arises when fitting triplanes sequentially on many avatars, caused by the MLP decoder sharing scheme. To overcome this issue, we raise a novel data scheduling strategy and a weight consolidation regularization term, which improves the decoder's capability of rendering sharper details. Additionally, we optimize the guiding effect of the portrait image by computing a finer-grained hierarchical representation that captures rich 2D texture cues, and injecting them to the 3D diffusion model at multiple layers via cross-attention. When trained on 46K avatars with a noise schedule optimized for triplanes, the resulting model can generate 3D avatars with notably better details than previous methods and can generalize to in-the-wild portrait input.