Fahrbare 3D-Gaußsche Avatare

Zusammenfassung

Wir präsentieren Drivable 3D Gaussian Avatars (D3GA), das erste 3D-steuerbare Modell für menschliche Körper, das mit Gaussian Splats gerendert wird. Aktuelle fotorealistische, steuerbare Avatare erfordern entweder präzise 3D-Registrierungen während des Trainings, dichte Eingabebilder während des Tests oder beides. Diejenigen, die auf neuralen Strahlungsfeldern basieren, sind zudem oft unverhältnismäßig langsam für Telepräsenzanwendungen. Diese Arbeit nutzt die kürzlich vorgestellte 3D Gaussian Splatting (3DGS)-Technik, um realistische Menschen in Echtzeit-Frameraten zu rendern, wobei dichte kalibrierte Multi-View-Videos als Eingabe verwendet werden. Um diese Primitiven zu verformen, weichen wir von der häufig verwendeten Punktverformungsmethode des Linear Blend Skinning (LBS) ab und verwenden eine klassische volumetrische Verformungsmethode: Cage-Verformungen. Aufgrund ihrer geringeren Größe steuern wir diese Verformungen mit Gelenkwinkeln und Keypoints, die besser für Kommunikationsanwendungen geeignet sind. Unsere Experimente mit neun Probanden mit unterschiedlichen Körperformen, Kleidungen und Bewegungen erzielen qualitativ hochwertigere Ergebnisse als state-of-the-art-Methoden bei Verwendung der gleichen Trainings- und Testdaten.

English

We present Drivable 3D Gaussian Avatars (D3GA), the first 3D controllable model for human bodies rendered with Gaussian splats. Current photorealistic drivable avatars require either accurate 3D registrations during training, dense input images during testing, or both. The ones based on neural radiance fields also tend to be prohibitively slow for telepresence applications. This work uses the recently presented 3D Gaussian Splatting (3DGS) technique to render realistic humans at real-time framerates, using dense calibrated multi-view videos as input. To deform those primitives, we depart from the commonly used point deformation method of linear blend skinning (LBS) and use a classic volumetric deformation method: cage deformations. Given their smaller size, we drive these deformations with joint angles and keypoints, which are more suitable for communication applications. Our experiments on nine subjects with varied body shapes, clothes, and motions obtain higher-quality results than state-of-the-art methods when using the same training and test data.