Editor de Avatar Gaussiano: Avatar de Cabeza Gaussiana Animable y Fotorrealista

GaussianAvatar-Editor: Photorealistic Animatable Gaussian Head Avatar Editor

January 17, 2025

Autores: Xiangyue Liu, Kunming Luo, Heng Li, Qi Zhang, Yuan Liu, Li Yi, Ping Tan

cs.AI

Resumen

Presentamos GaussianAvatar-Editor, un marco innovador para la edición basada en texto de avatares de cabezas Gaussianas animables que pueden ser completamente controlados en expresión, pose y punto de vista. A diferencia de la edición 3D Gaussiana estática, la edición de avatares Gaussianos animables en 4D presenta desafíos relacionados con la oclusión de movimiento y la inconsistencia espacio-temporal. Para abordar estos problemas, proponemos la Ecuación de Mezcla Ponderada Alfa (WABE). Esta función mejora el peso de mezcla de los Gaussiana visibles mientras suprime la influencia en los Gaussiana no visibles, manejando efectivamente la oclusión de movimiento durante la edición. Además, para mejorar la calidad de edición y garantizar la consistencia en 4D, incorporamos el aprendizaje adversarial condicional en el proceso de edición. Esta estrategia ayuda a refinar los resultados editados y mantener la consistencia a lo largo de la animación. Al integrar estos métodos, nuestro GaussianAvatar-Editor logra resultados fotorrealistas y consistentes en la edición animable 4D Gaussiana. Realizamos experimentos exhaustivos en varios sujetos para validar la efectividad de nuestras técnicas propuestas, lo que demuestra la superioridad de nuestro enfoque sobre los métodos existentes. Más resultados y código están disponibles en: [Enlace del Proyecto](https://xiangyueliu.github.io/GaussianAvatar-Editor/).

English

We introduce GaussianAvatar-Editor, an innovative framework for text-driven editing of animatable Gaussian head avatars that can be fully controlled in expression, pose, and viewpoint. Unlike static 3D Gaussian editing, editing animatable 4D Gaussian avatars presents challenges related to motion occlusion and spatial-temporal inconsistency. To address these issues, we propose the Weighted Alpha Blending Equation (WABE). This function enhances the blending weight of visible Gaussians while suppressing the influence on non-visible Gaussians, effectively handling motion occlusion during editing. Furthermore, to improve editing quality and ensure 4D consistency, we incorporate conditional adversarial learning into the editing process. This strategy helps to refine the edited results and maintain consistency throughout the animation. By integrating these methods, our GaussianAvatar-Editor achieves photorealistic and consistent results in animatable 4D Gaussian editing. We conduct comprehensive experiments across various subjects to validate the effectiveness of our proposed techniques, which demonstrates the superiority of our approach over existing methods. More results and code are available at: [Project Link](https://xiangyueliu.github.io/GaussianAvatar-Editor/).