GFlow: Wiederherstellung einer 4D-Welt aus monokularem Video

GFlow: Recovering 4D World from Monocular Video

May 28, 2024

Autoren: Shizun Wang, Xingyi Yang, Qiuhong Shen, Zhenxiang Jiang, Xinchao Wang

cs.AI

Zusammenfassung

Die Rekonstruktion von 4D-Szenen aus Videoeingaben ist eine entscheidende, aber anspruchsvolle Aufgabe. Herkömmliche Methoden stützen sich in der Regel auf Annahmen von Multi-View-Videoeingaben, bekannten Kameraparametern oder statischen Szenen, die unter realen Bedingungen in der Natur typischerweise fehlen. In diesem Artikel entspannen wir all diese Einschränkungen und widmen uns einer äußerst ehrgeizigen, aber praktischen Aufgabe, die wir als AnyV4D bezeichnen: Wir nehmen an, dass nur ein monokulares Video ohne Kameraparameter als Eingabe vorhanden ist und wir beabsichtigen, die dynamische 4D-Welt neben den Kamerapositionen wiederherzustellen. Zu diesem Zweck stellen wir GFlow vor, ein neues Framework, das nur 2D-Vorannahmen (Tiefe und optischer Fluss) nutzt, um ein Video (3D) in eine 4D explizite Darstellung zu überführen, die einen Fluss von Gauss'schem Splatting durch Raum und Zeit beinhaltet. GFlow gliedert zuerst die Szene in ruhende und sich bewegende Teile, wendet dann einen sequenziellen Optimierungsprozess an, der Kamerapositionen und die Dynamik von 3D-Gauss-Punkten basierend auf 2D-Vorannahmen und Szenenclustering optimiert, um die Treue zwischen benachbarten Punkten und eine gleichmäßige Bewegung über die Frames hinweg zu gewährleisten. Da dynamische Szenen immer neue Inhalte einführen, schlagen wir auch eine neue pixelweise Verdichtungsstrategie für Gauss-Punkte vor, um neue visuelle Inhalte zu integrieren. Darüber hinaus überwindet GFlow die Grenzen der reinen 4D-Rekonstruktion; es ermöglicht auch das Tracking von Punkten über Frames hinweg ohne vorheriges Training und segmentiert bewegliche Objekte aus der Szene auf eine unüberwachte Weise. Zusätzlich können die Kamerapositionen jedes Frames aus GFlow abgeleitet werden, was die Darstellung neuer Ansichten einer Videoszene durch Änderung der Kameraposition ermöglicht. Durch die Verwendung der expliziten Darstellung können wir Szenen- oder Objektebene-Editierungen nach Bedarf problemlos durchführen, was seine Vielseitigkeit und Leistungsfähigkeit unterstreicht. Besuchen Sie unsere Projektwebsite unter: https://littlepure2333.github.io/GFlow

English

Reconstructing 4D scenes from video inputs is a crucial yet challenging task. Conventional methods usually rely on the assumptions of multi-view video inputs, known camera parameters, or static scenes, all of which are typically absent under in-the-wild scenarios. In this paper, we relax all these constraints and tackle a highly ambitious but practical task, which we termed as AnyV4D: we assume only one monocular video is available without any camera parameters as input, and we aim to recover the dynamic 4D world alongside the camera poses. To this end, we introduce GFlow, a new framework that utilizes only 2D priors (depth and optical flow) to lift a video (3D) to a 4D explicit representation, entailing a flow of Gaussian splatting through space and time. GFlow first clusters the scene into still and moving parts, then applies a sequential optimization process that optimizes camera poses and the dynamics of 3D Gaussian points based on 2D priors and scene clustering, ensuring fidelity among neighboring points and smooth movement across frames. Since dynamic scenes always introduce new content, we also propose a new pixel-wise densification strategy for Gaussian points to integrate new visual content. Moreover, GFlow transcends the boundaries of mere 4D reconstruction; it also enables tracking of any points across frames without the need for prior training and segments moving objects from the scene in an unsupervised way. Additionally, the camera poses of each frame can be derived from GFlow, allowing for rendering novel views of a video scene through changing camera pose. By employing the explicit representation, we may readily conduct scene-level or object-level editing as desired, underscoring its versatility and power. Visit our project website at: https://littlepure2333.github.io/GFlow