GaussianAvatar-Editor: Editor di Avatar di Testa Gaussiana Fotorealistica Animabile

GaussianAvatar-Editor: Photorealistic Animatable Gaussian Head Avatar Editor

January 17, 2025

Autori: Xiangyue Liu, Kunming Luo, Heng Li, Qi Zhang, Yuan Liu, Li Yi, Ping Tan

cs.AI

Abstract

Introduciamo GaussianAvatar-Editor, un innovativo framework per la modifica guidata dal testo di avatar animabili a testa Gaussiana che possono essere completamente controllati nell'espressione, nella posa e nel punto di vista. A differenza della modifica 3D Gaussiana statica, la modifica di avatar Gaussiani animabili 4D presenta sfide legate all'occlusione del movimento e all'incoerenza spazio-temporale. Per affrontare questi problemi, proponiamo l'Equazione di Miscelazione Alpha Ponderata (WABE). Questa funzione potenzia il peso della miscelazione delle Gaussiane visibili mentre sopprime l'influenza sulle Gaussiane non visibili, gestendo efficacemente l'occlusione del movimento durante la modifica. Inoltre, per migliorare la qualità della modifica e garantire la coerenza 4D, incorporiamo l'apprendimento avversario condizionale nel processo di modifica. Questa strategia aiuta a perfezionare i risultati modificati e a mantenere la coerenza durante l'animazione. Integrando questi metodi, il nostro GaussianAvatar-Editor raggiunge risultati fotorealistici e coerenti nella modifica animabile Gaussiana 4D. Conduciamo esperimenti approfonditi su vari soggetti per convalidare l'efficacia delle tecniche proposte, dimostrando la superiorità del nostro approccio rispetto ai metodi esistenti. Ulteriori risultati e codice sono disponibili su: [Link al Progetto](https://xiangyueliu.github.io/GaussianAvatar-Editor/).

English

We introduce GaussianAvatar-Editor, an innovative framework for text-driven editing of animatable Gaussian head avatars that can be fully controlled in expression, pose, and viewpoint. Unlike static 3D Gaussian editing, editing animatable 4D Gaussian avatars presents challenges related to motion occlusion and spatial-temporal inconsistency. To address these issues, we propose the Weighted Alpha Blending Equation (WABE). This function enhances the blending weight of visible Gaussians while suppressing the influence on non-visible Gaussians, effectively handling motion occlusion during editing. Furthermore, to improve editing quality and ensure 4D consistency, we incorporate conditional adversarial learning into the editing process. This strategy helps to refine the edited results and maintain consistency throughout the animation. By integrating these methods, our GaussianAvatar-Editor achieves photorealistic and consistent results in animatable 4D Gaussian editing. We conduct comprehensive experiments across various subjects to validate the effectiveness of our proposed techniques, which demonstrates the superiority of our approach over existing methods. More results and code are available at: [Project Link](https://xiangyueliu.github.io/GaussianAvatar-Editor/).