GaussianFlow: Размазывание гауссовой динамики для создания контента в 4D.

GaussianFlow: Splatting Gaussian Dynamics for 4D Content Creation

March 19, 2024

Авторы: Quankai Gao, Qiangeng Xu, Zhe Cao, Ben Mildenhall, Wenchao Ma, Le Chen, Danhang Tang, Ulrich Neumann

cs.AI

Аннотация

Создание 4D полей гауссовского сплэттинга из изображений или видео является сложной задачей из-за ее недоопределенности. В то время как оптимизация может черпать фотометрические ссылки из входных видео или регулироваться генеративными моделями, прямое наблюдение за гауссовскими движениями остается малоисследованным. В данной статье мы представляем новое понятие - гауссовский поток, который соединяет динамику 3D гауссов и скорости пикселей между последовательными кадрами. Гауссовский поток может быть эффективно получен путем сплэттинга гауссовской динамики в пространство изображения. Этот дифференцируемый процесс позволяет непосредственное динамическое наблюдение за оптическим потоком. Наш метод значительно улучшает генерацию динамического контента в 4D и синтез нового вида в 4D с помощью гауссовского сплэттинга, особенно для контента с насыщенными движениями, которые трудно обрабатывать существующими методами. Общая проблема цветового смещения, возникающая при генерации в 4D, также решается с улучшенной гауссовской динамикой. Превосходное качество визуализации на обширных экспериментах демонстрирует эффективность нашего метода. Количественные и качественные оценки показывают, что наш метод достигает передовых результатов как в задачах генерации 4D, так и в синтезе нового вида в 4D. Страница проекта: https://zerg-overmind.github.io/GaussianFlow.github.io/

English

Creating 4D fields of Gaussian Splatting from images or videos is a challenging task due to its under-constrained nature. While the optimization can draw photometric reference from the input videos or be regulated by generative models, directly supervising Gaussian motions remains underexplored. In this paper, we introduce a novel concept, Gaussian flow, which connects the dynamics of 3D Gaussians and pixel velocities between consecutive frames. The Gaussian flow can be efficiently obtained by splatting Gaussian dynamics into the image space. This differentiable process enables direct dynamic supervision from optical flow. Our method significantly benefits 4D dynamic content generation and 4D novel view synthesis with Gaussian Splatting, especially for contents with rich motions that are hard to be handled by existing methods. The common color drifting issue that happens in 4D generation is also resolved with improved Guassian dynamics. Superior visual quality on extensive experiments demonstrates our method's effectiveness. Quantitative and qualitative evaluations show that our method achieves state-of-the-art results on both tasks of 4D generation and 4D novel view synthesis. Project page: https://zerg-overmind.github.io/GaussianFlow.github.io/