AlteredAvatar: Stilizzazione di Avatar 3D Dinamici con Adattamento Rapido dello Stile

AlteredAvatar: Stylizing Dynamic 3D Avatars with Fast Style Adaptation

May 30, 2023

Autori: Thu Nguyen-Phuoc, Gabriel Schwartz, Yuting Ye, Stephen Lombardi, Lei Xiao

cs.AI

Abstract

Questo articolo presenta un metodo in grado di adattare rapidamente avatar 3D dinamici a descrizioni testuali arbitrarie di nuovi stili. Tra gli approcci esistenti per la stilizzazione degli avatar, i metodi di ottimizzazione diretta possono produrre risultati eccellenti per stili arbitrari, ma sono spiacevolmente lenti. Inoltre, richiedono di ripetere il processo di ottimizzazione da zero per ogni nuovo input. I metodi di approssimazione rapida che utilizzano reti feed-forward addestrate su un ampio dataset di immagini di stile possono generare risultati per nuovi input velocemente, ma tendono a non generalizzare bene per stili nuovi e risultano carenti in termini di qualità. Pertanto, esploriamo un nuovo approccio, AlteredAvatar, che combina questi due metodi utilizzando il framework di meta-apprendimento. Nel ciclo interno, il modello impara a ottimizzare per adattarsi bene a un singolo stile target; mentre nel ciclo esterno, il modello impara a stilizzare in modo efficiente su molti stili. Dopo l'addestramento, AlteredAvatar apprende un'inizializzazione che può adattarsi rapidamente, con un numero ridotto di passi di aggiornamento, a un nuovo stile, che può essere fornito tramite testo, un'immagine di riferimento o una combinazione di entrambi. Dimostriamo che AlteredAvatar può raggiungere un buon equilibrio tra velocità, flessibilità e qualità, mantenendo la coerenza su un'ampia gamma di nuove visualizzazioni ed espressioni facciali.

English

This paper presents a method that can quickly adapt dynamic 3D avatars to arbitrary text descriptions of novel styles. Among existing approaches for avatar stylization, direct optimization methods can produce excellent results for arbitrary styles but they are unpleasantly slow. Furthermore, they require redoing the optimization process from scratch for every new input. Fast approximation methods using feed-forward networks trained on a large dataset of style images can generate results for new inputs quickly, but tend not to generalize well to novel styles and fall short in quality. We therefore investigate a new approach, AlteredAvatar, that combines those two approaches using the meta-learning framework. In the inner loop, the model learns to optimize to match a single target style well; while in the outer loop, the model learns to stylize efficiently across many styles. After training, AlteredAvatar learns an initialization that can quickly adapt within a small number of update steps to a novel style, which can be given using texts, a reference image, or a combination of both. We show that AlteredAvatar can achieve a good balance between speed, flexibility and quality, while maintaining consistency across a wide range of novel views and facial expressions.