GAvatar: Avatares 3D Gaussianos Animáveis com Aprendizado de Malha Implícita

GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning

December 18, 2023

Autores: Ye Yuan, Xueting Li, Yangyi Huang, Shalini De Mello, Koki Nagano, Jan Kautz, Umar Iqbal

cs.AI

Resumo

O splatting gaussiano emergiu como uma poderosa representação 3D que aproveita as vantagens tanto das representações 3D explícitas (malha) quanto implícitas (NeRF). Neste artigo, buscamos utilizar o splatting gaussiano para gerar avatares animáveis realistas a partir de descrições textuais, abordando as limitações (por exemplo, flexibilidade e eficiência) impostas pelas representações baseadas em malha ou NeRF. No entanto, uma aplicação ingênua do splatting gaussiano não consegue gerar avatares animáveis de alta qualidade e sofre de instabilidade no aprendizado; também não consegue capturar geometrias finas dos avatares e frequentemente resulta em partes do corpo degeneradas. Para resolver esses problemas, primeiro propomos uma representação 3D gaussiana baseada em primitivas, onde as gaussianas são definidas dentro de primitivas orientadas por pose para facilitar a animação. Segundo, para estabilizar e amortizar o aprendizado de milhões de gaussianas, propomos o uso de campos implícitos neurais para prever os atributos das gaussianas (por exemplo, cores). Por fim, para capturar geometrias finas dos avatares e extrair malhas detalhadas, propomos uma nova abordagem de aprendizado de malha implícita baseada em SDF para gaussianas 3D que regulariza as geometrias subjacentes e extrai malhas texturizadas altamente detalhadas. Nosso método proposto, GAvatar, permite a geração em larga escala de diversos avatares animáveis usando apenas prompts de texto. O GAvatar supera significativamente os métodos existentes em termos de qualidade de aparência e geometria, e alcança renderização extremamente rápida (100 fps) em resolução 1K.

English

Gaussian splatting has emerged as a powerful 3D representation that harnesses the advantages of both explicit (mesh) and implicit (NeRF) 3D representations. In this paper, we seek to leverage Gaussian splatting to generate realistic animatable avatars from textual descriptions, addressing the limitations (e.g., flexibility and efficiency) imposed by mesh or NeRF-based representations. However, a naive application of Gaussian splatting cannot generate high-quality animatable avatars and suffers from learning instability; it also cannot capture fine avatar geometries and often leads to degenerate body parts. To tackle these problems, we first propose a primitive-based 3D Gaussian representation where Gaussians are defined inside pose-driven primitives to facilitate animation. Second, to stabilize and amortize the learning of millions of Gaussians, we propose to use neural implicit fields to predict the Gaussian attributes (e.g., colors). Finally, to capture fine avatar geometries and extract detailed meshes, we propose a novel SDF-based implicit mesh learning approach for 3D Gaussians that regularizes the underlying geometries and extracts highly detailed textured meshes. Our proposed method, GAvatar, enables the large-scale generation of diverse animatable avatars using only text prompts. GAvatar significantly surpasses existing methods in terms of both appearance and geometry quality, and achieves extremely fast rendering (100 fps) at 1K resolution.