RodinHD: Generación de Avatar 3D de Alta Fidelidad con Modelos de Difusión

RodinHD: High-Fidelity 3D Avatar Generation with Diffusion Models

July 9, 2024

Autores: Bowen Zhang, Yiji Cheng, Chunyu Wang, Ting Zhang, Jiaolong Yang, Yansong Tang, Feng Zhao, Dong Chen, Baining Guo

cs.AI

Resumen

Presentamos RodinHD, que puede generar avatares 3D de alta fidelidad a partir de una imagen de retrato. Los métodos existentes no logran capturar detalles intrincados como peinados, los cuales abordamos en este documento. Identificamos primero un problema pasado por alto de olvido catastrófico que surge al ajustar triplanos secuencialmente en muchos avatares, causado por el esquema de compartición del decodificador MLP. Para superar este problema, proponemos una novedosa estrategia de programación de datos y un término de regularización de consolidación de pesos, que mejora la capacidad del decodificador para renderizar detalles más nítidos. Además, optimizamos el efecto guía de la imagen de retrato mediante el cálculo de una representación jerárquica más detallada que captura ricas señales de textura 2D, e inyectándolas en el modelo de difusión 3D en múltiples capas a través de la atención cruzada. Cuando se entrena con 46K avatares con un programa de ruido optimizado para triplanos, el modelo resultante puede generar avatares 3D con detalles notablemente mejores que los métodos anteriores y puede generalizar a entradas de retratos en entornos naturales.

English

We present RodinHD, which can generate high-fidelity 3D avatars from a portrait image. Existing methods fail to capture intricate details such as hairstyles which we tackle in this paper. We first identify an overlooked problem of catastrophic forgetting that arises when fitting triplanes sequentially on many avatars, caused by the MLP decoder sharing scheme. To overcome this issue, we raise a novel data scheduling strategy and a weight consolidation regularization term, which improves the decoder's capability of rendering sharper details. Additionally, we optimize the guiding effect of the portrait image by computing a finer-grained hierarchical representation that captures rich 2D texture cues, and injecting them to the 3D diffusion model at multiple layers via cross-attention. When trained on 46K avatars with a noise schedule optimized for triplanes, the resulting model can generate 3D avatars with notably better details than previous methods and can generalize to in-the-wild portrait input.