HiFi4G: Высококачественная визуализация человеческой производительности с использованием компактного гауссовского сплайнинга

HiFi4G: High-Fidelity Human Performance Rendering via Compact Gaussian Splatting

December 6, 2023

Авторы: Yuheng Jiang, Zhehao Shen, Penghao Wang, Zhuo Su, Yu Hong, Yingliang Zhang, Jingyi Yu, Lan Xu

cs.AI

Аннотация

В последнее время мы наблюдаем значительный прогресс в области фотореалистичного моделирования и рендеринга человека. Однако эффективное воспроизведение реалистичных человеческих движений и их интеграция в конвейер растеризации остаются сложными задачами. В данной статье мы представляем HiFi4G — явный и компактный подход на основе гауссовых распределений для высококачественного рендеринга человеческих движений по плотным видеоданным. Основная идея заключается в объединении 3D-гауссового представления с нежестким трекингом, что позволяет получить компактное и удобное для сжатия представление. Сначала мы предлагаем механизм двойного графа для получения априорных данных о движении: грубый граф деформаций для эффективной инициализации и детализированный гауссов граф для наложения последующих ограничений. Затем мы используем схему оптимизации 4D-гауссовых распределений с адаптивными пространственно-временными регуляризаторами, чтобы эффективно сбалансировать априорные данные о нежестких деформациях и обновление гауссовых параметров. Мы также представляем сопутствующую схему сжатия с компенсацией остатков для обеспечения иммерсивного опыта на различных платформах. Этот подход достигает значительной степени сжатия — примерно в 25 раз, с использованием менее 2 МБ памяти на кадр. Многочисленные эксперименты демонстрируют эффективность нашего подхода, который значительно превосходит существующие методы по скорости оптимизации, качеству рендеринга и затратам на хранение данных.

English

We have recently seen tremendous progress in photo-real human modeling and rendering. Yet, efficiently rendering realistic human performance and integrating it into the rasterization pipeline remains challenging. In this paper, we present HiFi4G, an explicit and compact Gaussian-based approach for high-fidelity human performance rendering from dense footage. Our core intuition is to marry the 3D Gaussian representation with non-rigid tracking, achieving a compact and compression-friendly representation. We first propose a dual-graph mechanism to obtain motion priors, with a coarse deformation graph for effective initialization and a fine-grained Gaussian graph to enforce subsequent constraints. Then, we utilize a 4D Gaussian optimization scheme with adaptive spatial-temporal regularizers to effectively balance the non-rigid prior and Gaussian updating. We also present a companion compression scheme with residual compensation for immersive experiences on various platforms. It achieves a substantial compression rate of approximately 25 times, with less than 2MB of storage per frame. Extensive experiments demonstrate the effectiveness of our approach, which significantly outperforms existing approaches in terms of optimization speed, rendering quality, and storage overhead.