Avatars 3D Gaussiennes Conduisibles

Résumé

Nous présentons Drivable 3D Gaussian Avatars (D3GA), le premier modèle 3D contrôlable pour les corps humains rendu à l'aide de splats gaussiens. Les avatars photoréalistes et pilotables actuels nécessitent soit des enregistrements 3D précis pendant l'entraînement, soit des images d'entrée denses pendant les tests, ou les deux. Ceux basés sur les champs de radiance neuronaux ont également tendance à être prohibitivement lents pour les applications de téléprésence. Ce travail utilise la technique récemment présentée de 3D Gaussian Splatting (3DGS) pour rendre des humains réalistes à des fréquences d'images en temps réel, en utilisant des vidéos multi-vues calibrées et denses comme entrée. Pour déformer ces primitives, nous nous écartons de la méthode de déformation de points couramment utilisée, le skinning par mélange linéaire (LBS), et utilisons une méthode classique de déformation volumétrique : les déformations par cage. Étant donné leur taille plus réduite, nous pilotons ces déformations avec des angles articulaires et des points clés, qui sont plus adaptés aux applications de communication. Nos expériences sur neuf sujets avec des morphologies, des vêtements et des mouvements variés obtiennent des résultats de meilleure qualité que les méthodes de pointe en utilisant les mêmes données d'entraînement et de test.

English

We present Drivable 3D Gaussian Avatars (D3GA), the first 3D controllable model for human bodies rendered with Gaussian splats. Current photorealistic drivable avatars require either accurate 3D registrations during training, dense input images during testing, or both. The ones based on neural radiance fields also tend to be prohibitively slow for telepresence applications. This work uses the recently presented 3D Gaussian Splatting (3DGS) technique to render realistic humans at real-time framerates, using dense calibrated multi-view videos as input. To deform those primitives, we depart from the commonly used point deformation method of linear blend skinning (LBS) and use a classic volumetric deformation method: cage deformations. Given their smaller size, we drive these deformations with joint angles and keypoints, which are more suitable for communication applications. Our experiments on nine subjects with varied body shapes, clothes, and motions obtain higher-quality results than state-of-the-art methods when using the same training and test data.