RodinHD: Generatie van hoogwaardige 3D-avatars met diffusiemodellen

RodinHD: High-Fidelity 3D Avatar Generation with Diffusion Models

July 9, 2024

Auteurs: Bowen Zhang, Yiji Cheng, Chunyu Wang, Ting Zhang, Jiaolong Yang, Yansong Tang, Feng Zhao, Dong Chen, Baining Guo

cs.AI

Samenvatting

We presenteren RodinHD, dat hoogwaardige 3D-avatars kan genereren vanuit een portretfoto. Bestaande methoden slagen er niet in om complexe details zoals kapsels vast te leggen, wat wij in dit artikel aanpakken. We identificeren eerst een over het hoofd gezien probleem van catastrofaal vergeten dat ontstaat bij het sequentieel aanpassen van triplanes op veel avatars, veroorzaakt door het delen van het MLP-decoder schema. Om dit probleem te overwinnen, introduceren we een nieuwe dataplanningstrategie en een gewichtsconsolidatie regularisatieterm, wat het vermogen van de decoder verbetert om scherpere details weer te geven. Daarnaast optimaliseren we het sturende effect van de portretfoto door een fijnmazigere hiërarchische representatie te berekenen die rijke 2D-textuurcues vastlegt, en deze op meerdere lagen in het 3D-diffusiemodel te injecteren via cross-attention. Wanneer het model wordt getraind op 46K avatars met een ruisschema geoptimaliseerd voor triplanes, kan het resulterende model 3D-avatars genereren met aanzienlijk betere details dan eerdere methoden en kan het generaliseren naar portretinput uit de echte wereld.

English

We present RodinHD, which can generate high-fidelity 3D avatars from a portrait image. Existing methods fail to capture intricate details such as hairstyles which we tackle in this paper. We first identify an overlooked problem of catastrophic forgetting that arises when fitting triplanes sequentially on many avatars, caused by the MLP decoder sharing scheme. To overcome this issue, we raise a novel data scheduling strategy and a weight consolidation regularization term, which improves the decoder's capability of rendering sharper details. Additionally, we optimize the guiding effect of the portrait image by computing a finer-grained hierarchical representation that captures rich 2D texture cues, and injecting them to the 3D diffusion model at multiple layers via cross-attention. When trained on 46K avatars with a noise schedule optimized for triplanes, the resulting model can generate 3D avatars with notably better details than previous methods and can generalize to in-the-wild portrait input.