Avatares 3D Gaussianos Dirigíveis

Resumo

Apresentamos os Drivable 3D Gaussian Avatars (D3GA), o primeiro modelo 3D controlável para corpos humanos renderizado com splats gaussianos. Os avatares fotorealísticos controláveis atuais exigem registros 3D precisos durante o treinamento, imagens de entrada densas durante o teste, ou ambos. Aqueles baseados em campos de radiação neural também tendem a ser proibitivamente lentos para aplicações de telepresença. Este trabalho utiliza a técnica recentemente apresentada de 3D Gaussian Splatting (3DGS) para renderizar humanos realistas em taxas de quadros em tempo real, usando vídeos multi-visão calibrados e densos como entrada. Para deformar esses primitivos, nos afastamos do método comumente usado de deformação de pontos por linear blend skinning (LBS) e utilizamos um método clássico de deformação volumétrica: deformações por gaiola. Dado seu tamanho menor, conduzimos essas deformações com ângulos articulares e keypoints, que são mais adequados para aplicações de comunicação. Nossos experimentos com nove sujeitos com diferentes formas corporais, roupas e movimentos obtêm resultados de maior qualidade do que os métodos state-of-the-art ao usar os mesmos dados de treinamento e teste.

English

We present Drivable 3D Gaussian Avatars (D3GA), the first 3D controllable model for human bodies rendered with Gaussian splats. Current photorealistic drivable avatars require either accurate 3D registrations during training, dense input images during testing, or both. The ones based on neural radiance fields also tend to be prohibitively slow for telepresence applications. This work uses the recently presented 3D Gaussian Splatting (3DGS) technique to render realistic humans at real-time framerates, using dense calibrated multi-view videos as input. To deform those primitives, we depart from the commonly used point deformation method of linear blend skinning (LBS) and use a classic volumetric deformation method: cage deformations. Given their smaller size, we drive these deformations with joint angles and keypoints, which are more suitable for communication applications. Our experiments on nine subjects with varied body shapes, clothes, and motions obtain higher-quality results than state-of-the-art methods when using the same training and test data.