Управляемые 3D-аватары на основе гауссовских распределений

Аннотация

Мы представляем Drivable 3D Gaussian Avatars (D3GA) — первую управляемую 3D-модель человеческого тела, визуализированную с использованием гауссовых сплатов. Современные фотореалистичные управляемые аватары требуют либо точной 3D-регистрации во время обучения, либо плотных входных изображений во время тестирования, либо того и другого. Модели, основанные на нейронных полях излучения (NeRF), также часто оказываются слишком медленными для приложений телеприсутствия. В данной работе используется недавно представленная техника 3D Gaussian Splatting (3DGS) для визуализации реалистичных человеческих фигур в режиме реального времени, с использованием плотных калиброванных многовидео в качестве входных данных. Для деформации этих примитивов мы отходим от широко используемого метода деформации точек — линейной скиннинговой деформации (LBS) — и применяем классический метод объемной деформации: деформацию с использованием каркаса. Благодаря их меньшему размеру, мы управляем этими деформациями с помощью углов суставов и ключевых точек, что более подходит для приложений коммуникации. Наши эксперименты с девятью субъектами, имеющими различные формы тела, одежду и движения, демонстрируют результаты более высокого качества по сравнению с современными методами при использовании одинаковых обучающих и тестовых данных.

English

We present Drivable 3D Gaussian Avatars (D3GA), the first 3D controllable model for human bodies rendered with Gaussian splats. Current photorealistic drivable avatars require either accurate 3D registrations during training, dense input images during testing, or both. The ones based on neural radiance fields also tend to be prohibitively slow for telepresence applications. This work uses the recently presented 3D Gaussian Splatting (3DGS) technique to render realistic humans at real-time framerates, using dense calibrated multi-view videos as input. To deform those primitives, we depart from the commonly used point deformation method of linear blend skinning (LBS) and use a classic volumetric deformation method: cage deformations. Given their smaller size, we drive these deformations with joint angles and keypoints, which are more suitable for communication applications. Our experiments on nine subjects with varied body shapes, clothes, and motions obtain higher-quality results than state-of-the-art methods when using the same training and test data.