AlteredAvatar: Dynamische 3D-avatars styliseren met snelle stijlaanpassing

AlteredAvatar: Stylizing Dynamic 3D Avatars with Fast Style Adaptation

May 30, 2023

Auteurs: Thu Nguyen-Phuoc, Gabriel Schwartz, Yuting Ye, Stephen Lombardi, Lei Xiao

cs.AI

Samenvatting

Dit artikel presenteert een methode die dynamische 3D-avatars snel kan aanpassen aan willekeurige tekstbeschrijvingen van nieuwe stijlen. Onder de bestaande benaderingen voor avatarstylisering kunnen directe optimalisatiemethoden uitstekende resultaten opleveren voor willekeurige stijlen, maar ze zijn onaangenaam traag. Bovendien vereisen ze dat het optimalisatieproces voor elke nieuwe invoer opnieuw wordt uitgevoerd. Snelle benaderingsmethoden die gebruikmaken van feed-forward netwerken getraind op een grote dataset van stijlafbeeldingen kunnen snel resultaten genereren voor nieuwe invoeren, maar hebben de neiging niet goed te generaliseren naar nieuwe stijlen en schieten tekort in kwaliteit. Daarom onderzoeken we een nieuwe benadering, AlteredAvatar, die deze twee methoden combineert met behulp van het meta-leerframework. In de binnenste lus leert het model te optimaliseren om een enkele doelstijl goed te matchen; terwijl in de buitenste lus het model leert om efficiënt te styliseren over vele stijlen. Na de training leert AlteredAvatar een initialisatie die zich binnen een klein aantal update-stappen snel kan aanpassen aan een nieuwe stijl, die kan worden gegeven via teksten, een referentieafbeelding, of een combinatie van beide. We tonen aan dat AlteredAvatar een goede balans kan bereiken tussen snelheid, flexibiliteit en kwaliteit, terwijl consistentie wordt behouden over een breed scala aan nieuwe gezichtspunten en gezichtsuitdrukkingen.

English

This paper presents a method that can quickly adapt dynamic 3D avatars to arbitrary text descriptions of novel styles. Among existing approaches for avatar stylization, direct optimization methods can produce excellent results for arbitrary styles but they are unpleasantly slow. Furthermore, they require redoing the optimization process from scratch for every new input. Fast approximation methods using feed-forward networks trained on a large dataset of style images can generate results for new inputs quickly, but tend not to generalize well to novel styles and fall short in quality. We therefore investigate a new approach, AlteredAvatar, that combines those two approaches using the meta-learning framework. In the inner loop, the model learns to optimize to match a single target style well; while in the outer loop, the model learns to stylize efficiently across many styles. After training, AlteredAvatar learns an initialization that can quickly adapt within a small number of update steps to a novel style, which can be given using texts, a reference image, or a combination of both. We show that AlteredAvatar can achieve a good balance between speed, flexibility and quality, while maintaining consistency across a wide range of novel views and facial expressions.