Пространственно-временное гауссово размытие признаков для синтеза динамических видов в реальном времени

Spacetime Gaussian Feature Splatting for Real-Time Dynamic View Synthesis

December 28, 2023

Авторы: Zhan Li, Zhang Chen, Zhong Li, Yi Xu

cs.AI

Аннотация

Синтез новых видов динамических сцен представляет собой увлекательную, но сложную задачу. Несмотря на недавние достижения, одновременное достижение фотореалистичных результатов высокого разрешения, рендеринга в реальном времени и компактного хранения данных остается серьезной проблемой. Для решения этих задач мы предлагаем новый метод представления динамических сцен — Spacetime Gaussian Feature Splatting, состоящий из трех ключевых компонентов. Во-первых, мы формулируем выразительные Spacetime Gaussians, расширяя 3D-гауссовы функции временной прозрачностью и параметрическим движением/вращением. Это позволяет Spacetime Gaussians захватывать статическое, динамическое и временное содержимое сцены. Во-вторых, мы вводим рендеринг с использованием сплаттинга признаков, заменяя сферические гармоники нейронными признаками. Эти признаки упрощают моделирование внешнего вида, зависящего от угла обзора и времени, сохраняя при этом малый размер. В-третьих, мы используем руководство по ошибке обучения и грубой глубине для выборки новых гауссовых функций в областях, которые сложно сходимы с существующими подходами. Эксперименты на нескольких известных наборах данных реального мира демонстрируют, что наш метод достигает наивысшего качества и скорости рендеринга при сохранении компактного хранения. На разрешении 8K наша облегченная версия модели способна рендерить со скоростью 60 кадров в секунду на GPU Nvidia RTX 4090.

English

Novel view synthesis of dynamic scenes has been an intriguing yet challenging problem. Despite recent advancements, simultaneously achieving high-resolution photorealistic results, real-time rendering, and compact storage remains a formidable task. To address these challenges, we propose Spacetime Gaussian Feature Splatting as a novel dynamic scene representation, composed of three pivotal components. First, we formulate expressive Spacetime Gaussians by enhancing 3D Gaussians with temporal opacity and parametric motion/rotation. This enables Spacetime Gaussians to capture static, dynamic, as well as transient content within a scene. Second, we introduce splatted feature rendering, which replaces spherical harmonics with neural features. These features facilitate the modeling of view- and time-dependent appearance while maintaining small size. Third, we leverage the guidance of training error and coarse depth to sample new Gaussians in areas that are challenging to converge with existing pipelines. Experiments on several established real-world datasets demonstrate that our method achieves state-of-the-art rendering quality and speed, while retaining compact storage. At 8K resolution, our lite-version model can render at 60 FPS on an Nvidia RTX 4090 GPU.