Human101: Обучение гауссовых моделей человека с частотой 100+ кадров в секунду за 100 секунд с одного ракурса

Human101: Training 100+FPS Human Gaussians in 100s from 1 View

December 23, 2023

Авторы: Mingwei Li, Jiachen Tao, Zongxin Yang, Yi Yang

cs.AI

Аннотация

Реконструкция человеческого тела на основе видео с одного ракурса играет ключевую роль в области виртуальной реальности. Одним из распространенных сценариев применения является необходимость быстрого создания высококачественных 3D-моделей цифровых людей с одновременным обеспечением их рендеринга и взаимодействия в реальном времени. Существующие методы часто не способны удовлетворить оба этих требования. В данной статье мы представляем Human101 — новый фреймворк, способный создавать высококачественные динамические 3D-реконструкции человека на основе видео с одного ракурса, обучая 3D-гауссовы распределения за 100 секунд и обеспечивая рендеринг со скоростью более 100 кадров в секунду. Наш метод использует преимущества 3D Gaussian Splatting, который предоставляет явное и эффективное представление 3D-моделей человека. В отличие от предыдущих подходов, основанных на NeRF, Human101 применяет инновационный метод Human-centric Forward Gaussian Animation для деформации параметров 3D-гауссовых распределений, что значительно повышает скорость рендеринга (например, рендеринг изображений с разрешением 1024 с впечатляющими 60+ кадрами в секунду и изображений с разрешением 512 с 100+ кадрами в секунду). Результаты экспериментов показывают, что наш подход значительно превосходит существующие методы, увеличивая количество кадров в секунду до 10 раз и обеспечивая сопоставимое или превосходное качество рендеринга. Код и демонстрации будут доступны по адресу https://github.com/longxiang-ai/Human101.

English

Reconstructing the human body from single-view videos plays a pivotal role in the virtual reality domain. One prevalent application scenario necessitates the rapid reconstruction of high-fidelity 3D digital humans while simultaneously ensuring real-time rendering and interaction. Existing methods often struggle to fulfill both requirements. In this paper, we introduce Human101, a novel framework adept at producing high-fidelity dynamic 3D human reconstructions from 1-view videos by training 3D Gaussians in 100 seconds and rendering in 100+ FPS. Our method leverages the strengths of 3D Gaussian Splatting, which provides an explicit and efficient representation of 3D humans. Standing apart from prior NeRF-based pipelines, Human101 ingeniously applies a Human-centric Forward Gaussian Animation method to deform the parameters of 3D Gaussians, thereby enhancing rendering speed (i.e., rendering 1024-resolution images at an impressive 60+ FPS and rendering 512-resolution images at 100+ FPS). Experimental results indicate that our approach substantially eclipses current methods, clocking up to a 10 times surge in frames per second and delivering comparable or superior rendering quality. Code and demos will be released at https://github.com/longxiang-ai/Human101.