AlteredAvatar: Estilización de avatares 3D dinámicos con adaptación rápida de estilos

AlteredAvatar: Stylizing Dynamic 3D Avatars with Fast Style Adaptation

May 30, 2023

Autores: Thu Nguyen-Phuoc, Gabriel Schwartz, Yuting Ye, Stephen Lombardi, Lei Xiao

cs.AI

Resumen

Este artículo presenta un método que puede adaptar rápidamente avatares 3D dinámicos a descripciones textuales arbitrarias de estilos novedosos. Entre los enfoques existentes para la estilización de avatares, los métodos de optimización directa pueden producir resultados excelentes para estilos arbitrarios, pero son desagradablemente lentos. Además, requieren repetir el proceso de optimización desde cero para cada nueva entrada. Los métodos de aproximación rápida que utilizan redes de avance entrenadas en un gran conjunto de datos de imágenes de estilo pueden generar resultados para nuevas entradas rápidamente, pero tienden a no generalizar bien a estilos novedosos y se quedan cortos en calidad. Por lo tanto, investigamos un nuevo enfoque, AlteredAvatar, que combina esos dos métodos utilizando el marco de metaaprendizaje. En el bucle interno, el modelo aprende a optimizar para coincidir bien con un solo estilo objetivo; mientras que en el bucle externo, el modelo aprende a estilizar de manera eficiente en muchos estilos. Después del entrenamiento, AlteredAvatar aprende una inicialización que puede adaptarse rápidamente en un pequeño número de pasos de actualización a un estilo novedoso, que puede darse mediante textos, una imagen de referencia o una combinación de ambos. Mostramos que AlteredAvatar puede lograr un buen equilibrio entre velocidad, flexibilidad y calidad, manteniendo la coherencia en una amplia gama de vistas novedosas y expresiones faciales.

English

This paper presents a method that can quickly adapt dynamic 3D avatars to arbitrary text descriptions of novel styles. Among existing approaches for avatar stylization, direct optimization methods can produce excellent results for arbitrary styles but they are unpleasantly slow. Furthermore, they require redoing the optimization process from scratch for every new input. Fast approximation methods using feed-forward networks trained on a large dataset of style images can generate results for new inputs quickly, but tend not to generalize well to novel styles and fall short in quality. We therefore investigate a new approach, AlteredAvatar, that combines those two approaches using the meta-learning framework. In the inner loop, the model learns to optimize to match a single target style well; while in the outer loop, the model learns to stylize efficiently across many styles. After training, AlteredAvatar learns an initialization that can quickly adapt within a small number of update steps to a novel style, which can be given using texts, a reference image, or a combination of both. We show that AlteredAvatar can achieve a good balance between speed, flexibility and quality, while maintaining consistency across a wide range of novel views and facial expressions.