Éditeur de l'avatar Gaussien : Avatar de tête gaussien animable et photoréaliste

GaussianAvatar-Editor: Photorealistic Animatable Gaussian Head Avatar Editor

January 17, 2025

Auteurs: Xiangyue Liu, Kunming Luo, Heng Li, Qi Zhang, Yuan Liu, Li Yi, Ping Tan

cs.AI

Résumé

Nous présentons GaussianAvatar-Editor, un cadre novateur pour l'édition basée sur le texte d'avatars de tête gaussiens animables qui peuvent être entièrement contrôlés en expression, pose et point de vue. Contrairement à l'édition gaussienne 3D statique, l'édition d'avatars gaussiens animables en 4D présente des défis liés à l'occlusion de mouvement et à l'incohérence spatiale-temporelle. Pour résoudre ces problèmes, nous proposons l'Équation de Mélange Alpha Pondéré (WABE). Cette fonction renforce le poids de mélange des Gaussiennes visibles tout en supprimant l'influence sur les Gaussiennes non visibles, gérant efficacement l'occlusion de mouvement lors de l'édition. De plus, pour améliorer la qualité de l'édition et garantir la cohérence en 4D, nous intégrons l'apprentissage adversarial conditionnel dans le processus d'édition. Cette stratégie aide à affiner les résultats édités et à maintenir la cohérence tout au long de l'animation. En intégrant ces méthodes, notre GaussianAvatar-Editor obtient des résultats photoréalistes et cohérents dans l'édition gaussienne animable en 4D. Nous menons des expériences approfondies sur divers sujets pour valider l'efficacité de nos techniques proposées, démontrant la supériorité de notre approche par rapport aux méthodes existantes. Plus de résultats et de code sont disponibles sur : [Lien du Projet](https://xiangyueliu.github.io/GaussianAvatar-Editor/).

English

We introduce GaussianAvatar-Editor, an innovative framework for text-driven editing of animatable Gaussian head avatars that can be fully controlled in expression, pose, and viewpoint. Unlike static 3D Gaussian editing, editing animatable 4D Gaussian avatars presents challenges related to motion occlusion and spatial-temporal inconsistency. To address these issues, we propose the Weighted Alpha Blending Equation (WABE). This function enhances the blending weight of visible Gaussians while suppressing the influence on non-visible Gaussians, effectively handling motion occlusion during editing. Furthermore, to improve editing quality and ensure 4D consistency, we incorporate conditional adversarial learning into the editing process. This strategy helps to refine the edited results and maintain consistency throughout the animation. By integrating these methods, our GaussianAvatar-Editor achieves photorealistic and consistent results in animatable 4D Gaussian editing. We conduct comprehensive experiments across various subjects to validate the effectiveness of our proposed techniques, which demonstrates the superiority of our approach over existing methods. More results and code are available at: [Project Link](https://xiangyueliu.github.io/GaussianAvatar-Editor/).