GaussianAvatar-Editor: Editor de Avatar de Cabeça Gaussiana Animável e Fotorealista

GaussianAvatar-Editor: Photorealistic Animatable Gaussian Head Avatar Editor

January 17, 2025

Autores: Xiangyue Liu, Kunming Luo, Heng Li, Qi Zhang, Yuan Liu, Li Yi, Ping Tan

cs.AI

Resumo

Apresentamos o GaussianAvatar-Editor, um framework inovador para edição baseada em texto de avatares de cabeça Gaussiana animáveis que podem ser totalmente controlados em expressão, pose e ponto de vista. Ao contrário da edição Gaussiana 3D estática, a edição de avatares Gaussianos animáveis 4D apresenta desafios relacionados à oclusão de movimento e inconsistência espaço-temporal. Para lidar com essas questões, propomos a Equação de Mistura Ponderada de Alfa (WABE). Essa função aprimora o peso de mistura dos Gaussians visíveis enquanto suprime a influência nos Gaussians não visíveis, lidando efetivamente com a oclusão de movimento durante a edição. Além disso, para melhorar a qualidade da edição e garantir consistência 4D, incorporamos o aprendizado adversarial condicional ao processo de edição. Essa estratégia ajuda a refinar os resultados editados e manter a consistência ao longo da animação. Ao integrar esses métodos, nosso GaussianAvatar-Editor alcança resultados fotorrealistas e consistentes na edição Gaussiana animável 4D. Realizamos experimentos abrangentes em diversos assuntos para validar a eficácia de nossas técnicas propostas, o que demonstra a superioridade de nossa abordagem em relação aos métodos existentes. Mais resultados e código estão disponíveis em: [Link do Projeto](https://xiangyueliu.github.io/GaussianAvatar-Editor/).

English

We introduce GaussianAvatar-Editor, an innovative framework for text-driven editing of animatable Gaussian head avatars that can be fully controlled in expression, pose, and viewpoint. Unlike static 3D Gaussian editing, editing animatable 4D Gaussian avatars presents challenges related to motion occlusion and spatial-temporal inconsistency. To address these issues, we propose the Weighted Alpha Blending Equation (WABE). This function enhances the blending weight of visible Gaussians while suppressing the influence on non-visible Gaussians, effectively handling motion occlusion during editing. Furthermore, to improve editing quality and ensure 4D consistency, we incorporate conditional adversarial learning into the editing process. This strategy helps to refine the edited results and maintain consistency throughout the animation. By integrating these methods, our GaussianAvatar-Editor achieves photorealistic and consistent results in animatable 4D Gaussian editing. We conduct comprehensive experiments across various subjects to validate the effectiveness of our proposed techniques, which demonstrates the superiority of our approach over existing methods. More results and code are available at: [Project Link](https://xiangyueliu.github.io/GaussianAvatar-Editor/).