Avatares 3D Gaussianos Conducibles

Resumen

Presentamos Drivable 3D Gaussian Avatars (D3GA), el primer modelo 3D controlable para cuerpos humanos renderizado con splats gaussianos. Los avatares fotorealistas controlables actuales requieren ya sea registros 3D precisos durante el entrenamiento, imágenes de entrada densas durante las pruebas, o ambos. Aquellos basados en campos de radiancia neural también tienden a ser prohibitivamente lentos para aplicaciones de telepresencia. Este trabajo utiliza la técnica recientemente presentada de 3D Gaussian Splatting (3DGS) para renderizar humanos realistas a velocidades de fotogramas en tiempo real, utilizando videos multivista calibrados y densos como entrada. Para deformar esos primitivos, nos apartamos del método comúnmente utilizado de deformación de puntos mediante skinning por mezcla lineal (LBS) y empleamos un método clásico de deformación volumétrica: deformaciones mediante jaulas. Dado su menor tamaño, impulsamos estas deformaciones con ángulos articulares y puntos clave, que son más adecuados para aplicaciones de comunicación. Nuestros experimentos en nueve sujetos con diversas formas corporales, ropa y movimientos obtienen resultados de mayor calidad que los métodos más avanzados cuando se utilizan los mismos datos de entrenamiento y prueba.

English

We present Drivable 3D Gaussian Avatars (D3GA), the first 3D controllable model for human bodies rendered with Gaussian splats. Current photorealistic drivable avatars require either accurate 3D registrations during training, dense input images during testing, or both. The ones based on neural radiance fields also tend to be prohibitively slow for telepresence applications. This work uses the recently presented 3D Gaussian Splatting (3DGS) technique to render realistic humans at real-time framerates, using dense calibrated multi-view videos as input. To deform those primitives, we depart from the commonly used point deformation method of linear blend skinning (LBS) and use a classic volumetric deformation method: cage deformations. Given their smaller size, we drive these deformations with joint angles and keypoints, which are more suitable for communication applications. Our experiments on nine subjects with varied body shapes, clothes, and motions obtain higher-quality results than state-of-the-art methods when using the same training and test data.