Редактор GaussianAvatar-Editor: фотореалистичный анимируемый гауссовский головной аватар

GaussianAvatar-Editor: Photorealistic Animatable Gaussian Head Avatar Editor

January 17, 2025

Авторы: Xiangyue Liu, Kunming Luo, Heng Li, Qi Zhang, Yuan Liu, Li Yi, Ping Tan

cs.AI

Аннотация

Мы представляем GaussianAvatar-Editor, инновационную платформу для редактирования анимируемых гауссовских головных аватаров по тексту, которые могут быть полностью управляемы в выражении, позе и точке зрения. В отличие от статического редактирования 3D-гауссов, редактирование анимируемых 4D-гауссовских аватаров представляет вызовы, связанные с заслонением движения и пространственно-временной несогласованностью. Для решения этих проблем мы предлагаем уравнение взвешенного альфа-смешивания (WABE). Эта функция улучшает вес смешивания видимых гауссов, подавляя влияние на невидимые гауссы, эффективно обрабатывая заслонение движения во время редактирования. Более того, для улучшения качества редактирования и обеспечения 4D-согласованности мы включаем условное адверсариальное обучение в процесс редактирования. Эта стратегия помогает усовершенствовать отредактированные результаты и поддерживать согласованность на протяжении анимации. Интегрируя эти методы, наш GaussianAvatar-Editor достигает фотореалистичных и согласованных результатов в редактировании анимируемых 4D-гауссов. Мы проводим обширные эксперименты с различными объектами, чтобы подтвердить эффективность наших предложенных техник, что демонстрирует превосходство нашего подхода над существующими методами. Дополнительные результаты и код доступны по ссылке на проект: [Ссылка на проект](https://xiangyueliu.github.io/GaussianAvatar-Editor/).

English

We introduce GaussianAvatar-Editor, an innovative framework for text-driven editing of animatable Gaussian head avatars that can be fully controlled in expression, pose, and viewpoint. Unlike static 3D Gaussian editing, editing animatable 4D Gaussian avatars presents challenges related to motion occlusion and spatial-temporal inconsistency. To address these issues, we propose the Weighted Alpha Blending Equation (WABE). This function enhances the blending weight of visible Gaussians while suppressing the influence on non-visible Gaussians, effectively handling motion occlusion during editing. Furthermore, to improve editing quality and ensure 4D consistency, we incorporate conditional adversarial learning into the editing process. This strategy helps to refine the edited results and maintain consistency throughout the animation. By integrating these methods, our GaussianAvatar-Editor achieves photorealistic and consistent results in animatable 4D Gaussian editing. We conduct comprehensive experiments across various subjects to validate the effectiveness of our proposed techniques, which demonstrates the superiority of our approach over existing methods. More results and code are available at: [Project Link](https://xiangyueliu.github.io/GaussianAvatar-Editor/).