MonST3R: Ein einfacher Ansatz zur Schätzung von Geometrie in Anwesenheit von Bewegung

MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion

October 4, 2024

Autoren: Junyi Zhang, Charles Herrmann, Junhwa Hur, Varun Jampani, Trevor Darrell, Forrester Cole, Deqing Sun, Ming-Hsuan Yang

cs.AI

Zusammenfassung

Die Schätzung der Geometrie von dynamischen Szenen, in denen Objekte sich im Laufe der Zeit bewegen und verformen, bleibt eine zentrale Herausforderung in der Computer Vision. Aktuelle Ansätze stützen sich oft auf mehrstufige Pipelines oder globale Optimierungen, die das Problem in Teilaufgaben wie Tiefe und Fluss zerlegen, was zu komplexen Systemen führt, die anfällig für Fehler sind. In diesem Paper präsentieren wir Motion DUSt3R (MonST3R), einen neuartigen geometriebasierten Ansatz, der die Geometrie pro Zeitschritt direkt aus dynamischen Szenen schätzt. Unser Schlüsselerkenntnis ist, dass wir durch die einfache Schätzung einer Punktlandkarte für jeden Zeitschritt die Darstellung von DUST3R, die bisher nur für statische Szenen verwendet wurde, effektiv an dynamische Szenen anpassen können. Dieser Ansatz stellt jedoch eine bedeutende Herausforderung dar: die Knappheit geeigneter Trainingsdaten, nämlich dynamische, inszenierte Videos mit Tiefenlabels. Trotzdem zeigen wir, dass wir, indem wir das Problem als Feinabstimmungsaufgabe formulieren, mehrere geeignete Datensätze identifizieren und das Modell strategisch auf diesen begrenzten Daten trainieren, überraschenderweise das Modell in die Lage versetzen können, mit Dynamiken umzugehen, selbst ohne eine explizite Bewegungsrepräsentation. Basierend darauf führen wir neue Optimierungen für mehrere nachgelagerte, videospezifische Aufgaben ein und zeigen starke Leistungen bei der Schätzung von Videotiefe und Kameraposition, wobei wir frühere Arbeiten in Bezug auf Robustheit und Effizienz übertreffen. Darüber hinaus zeigt MonST3R vielversprechende Ergebnisse für hauptsächlich vorausgerichtete 4D-Rekonstruktion.

English

Estimating geometry from dynamic scenes, where objects move and deform over time, remains a core challenge in computer vision. Current approaches often rely on multi-stage pipelines or global optimizations that decompose the problem into subtasks, like depth and flow, leading to complex systems prone to errors. In this paper, we present Motion DUSt3R (MonST3R), a novel geometry-first approach that directly estimates per-timestep geometry from dynamic scenes. Our key insight is that by simply estimating a pointmap for each timestep, we can effectively adapt DUST3R's representation, previously only used for static scenes, to dynamic scenes. However, this approach presents a significant challenge: the scarcity of suitable training data, namely dynamic, posed videos with depth labels. Despite this, we show that by posing the problem as a fine-tuning task, identifying several suitable datasets, and strategically training the model on this limited data, we can surprisingly enable the model to handle dynamics, even without an explicit motion representation. Based on this, we introduce new optimizations for several downstream video-specific tasks and demonstrate strong performance on video depth and camera pose estimation, outperforming prior work in terms of robustness and efficiency. Moreover, MonST3R shows promising results for primarily feed-forward 4D reconstruction.