GFlow: Восстановление 4D мира из монокулярного видео

GFlow: Recovering 4D World from Monocular Video

May 28, 2024

Авторы: Shizun Wang, Xingyi Yang, Qiuhong Shen, Zhenxiang Jiang, Xinchao Wang

cs.AI

Аннотация

Восстановление 4D сцен из видео входов является важной, но сложной задачей. Традиционные методы обычно полагаются на предположения о многокамерных видео входах, известных параметрах камеры или статических сценах, которые обычно отсутствуют в условиях "дикой" природы. В данной статье мы снимаем все эти ограничения и решаем высокоамбициозную, но практическую задачу, которую мы назвали AnyV4D: мы предполагаем, что доступно только одно монокулярное видео без каких-либо параметров камеры на входе, и наша цель - восстановить динамический 4D мир наряду с позами камеры. Для этого мы представляем GFlow, новую структуру, которая использует только 2D априорные данные (глубину и оптический поток), чтобы преобразовать видео (3D) в явное представление 4D, включая поток гауссовского сплетения в пространстве и времени. GFlow сначала кластеризует сцену на неподвижные и движущиеся части, затем применяет последовательный процесс оптимизации, который оптимизирует позы камеры и динамику 3D гауссовских точек на основе 2D априорных данных и кластеризации сцены, обеспечивая согласованность соседних точек и плавное движение между кадрами. Поскольку динамические сцены всегда вносят новый контент, мы также предлагаем новую стратегию плотного заполнения пикселей для гауссовских точек для интеграции нового визуального контента. Более того, GFlow преодолевает границы простого восстановления 4D; он также позволяет отслеживать любые точки на протяжении кадров без необходимости предварительного обучения и сегментирует движущиеся объекты из сцены способом без учителя. Кроме того, позы камеры каждого кадра могут быть получены из GFlow, что позволяет создавать новые виды видеосцены путем изменения позы камеры. Используя явное представление, мы можем легко проводить редактирование на уровне сцены или объекта по желанию, подчеркивая его гибкость и мощь. Посетите наш веб-сайт проекта по адресу: https://littlepure2333.github.io/GFlow

English

Reconstructing 4D scenes from video inputs is a crucial yet challenging task. Conventional methods usually rely on the assumptions of multi-view video inputs, known camera parameters, or static scenes, all of which are typically absent under in-the-wild scenarios. In this paper, we relax all these constraints and tackle a highly ambitious but practical task, which we termed as AnyV4D: we assume only one monocular video is available without any camera parameters as input, and we aim to recover the dynamic 4D world alongside the camera poses. To this end, we introduce GFlow, a new framework that utilizes only 2D priors (depth and optical flow) to lift a video (3D) to a 4D explicit representation, entailing a flow of Gaussian splatting through space and time. GFlow first clusters the scene into still and moving parts, then applies a sequential optimization process that optimizes camera poses and the dynamics of 3D Gaussian points based on 2D priors and scene clustering, ensuring fidelity among neighboring points and smooth movement across frames. Since dynamic scenes always introduce new content, we also propose a new pixel-wise densification strategy for Gaussian points to integrate new visual content. Moreover, GFlow transcends the boundaries of mere 4D reconstruction; it also enables tracking of any points across frames without the need for prior training and segments moving objects from the scene in an unsupervised way. Additionally, the camera poses of each frame can be derived from GFlow, allowing for rendering novel views of a video scene through changing camera pose. By employing the explicit representation, we may readily conduct scene-level or object-level editing as desired, underscoring its versatility and power. Visit our project website at: https://littlepure2333.github.io/GFlow