RodinHD: Generazione di Avatar 3D ad Alta Fedeltà con Modelli di Diffusione

RodinHD: High-Fidelity 3D Avatar Generation with Diffusion Models

July 9, 2024

Autori: Bowen Zhang, Yiji Cheng, Chunyu Wang, Ting Zhang, Jiaolong Yang, Yansong Tang, Feng Zhao, Dong Chen, Baining Guo

cs.AI

Abstract

Presentiamo RodinHD, in grado di generare avatar 3D ad alta fedeltà a partire da un'immagine ritratto. I metodi esistenti non riescono a catturare dettagli intricati come le acconciature, un problema che affrontiamo in questo articolo. Innanzitutto, identifichiamo un problema trascurato di dimenticanza catastrofica che si verifica quando si adattano sequenzialmente i triplane su molti avatar, causato dalla condivisione del decodificatore MLP. Per superare questo problema, proponiamo una nuova strategia di pianificazione dei dati e un termine di regolarizzazione per il consolidamento dei pesi, che migliora la capacità del decodificatore di rendere dettagli più nitidi. Inoltre, ottimizziamo l'effetto guida dell'immagine ritratto calcolando una rappresentazione gerarchica più fine che cattura ricchi indizi di texture 2D, e li iniettiamo nel modello di diffusione 3D su più livelli tramite cross-attention. Addestrato su 46K avatar con una pianificazione del rumore ottimizzata per i triplane, il modello risultante può generare avatar 3D con dettagli notevolmente migliori rispetto ai metodi precedenti e può generalizzare a input ritratto in contesti reali.

English

We present RodinHD, which can generate high-fidelity 3D avatars from a portrait image. Existing methods fail to capture intricate details such as hairstyles which we tackle in this paper. We first identify an overlooked problem of catastrophic forgetting that arises when fitting triplanes sequentially on many avatars, caused by the MLP decoder sharing scheme. To overcome this issue, we raise a novel data scheduling strategy and a weight consolidation regularization term, which improves the decoder's capability of rendering sharper details. Additionally, we optimize the guiding effect of the portrait image by computing a finer-grained hierarchical representation that captures rich 2D texture cues, and injecting them to the 3D diffusion model at multiple layers via cross-attention. When trained on 46K avatars with a noise schedule optimized for triplanes, the resulting model can generate 3D avatars with notably better details than previous methods and can generalize to in-the-wild portrait input.