MonST3R: Een eenvoudige benadering voor het schatten van geometrie in aanwezigheid van beweging.

MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion

October 4, 2024

Auteurs: Junyi Zhang, Charles Herrmann, Junhwa Hur, Varun Jampani, Trevor Darrell, Forrester Cole, Deqing Sun, Ming-Hsuan Yang

cs.AI

Samenvatting

Het schatten van geometrie van dynamische scènes, waar objecten bewegen en vervormen in de tijd, blijft een kernuitdaging in computervisie. Huidige benaderingen vertrouwen vaak op meertraps-pijplijnen of wereldwijde optimalisaties die het probleem opsplitsen in subtaken, zoals diepte en stroming, wat leidt tot complexe systemen die gevoelig zijn voor fouten. In dit artikel presenteren we Motion DUSt3R (MonST3R), een nieuw benadering waarbij geometrie voor elk tijdstap direct wordt geschat vanuit dynamische scènes. Ons belangrijkste inzicht is dat door simpelweg een puntkaart te schatten voor elke tijdstap, we de representatie van DUST3R effectief kunnen aanpassen, voorheen alleen gebruikt voor statische scènes, naar dynamische scènes. Deze benadering brengt echter een aanzienlijke uitdaging met zich mee: de schaarste aan geschikte trainingsgegevens, namelijk dynamische, geposeerde video's met dieptelabels. Ondanks dit laten we zien dat door het probleem te benaderen als een fine-tuning taak, door verschillende geschikte datasets te identificeren en het model strategisch te trainen met deze beperkte gegevens, we verrassend genoeg het model in staat kunnen stellen om met dynamiek om te gaan, zelfs zonder een expliciete bewegingsrepresentatie. Op basis hiervan introduceren we nieuwe optimalisaties voor verschillende downstream video-specifieke taken en tonen sterke prestaties op video diepte- en camerapositieschatting, waarbij we eerdere werken overtreffen op het gebied van robuustheid en efficiëntie. Bovendien toont MonST3R veelbelovende resultaten voor voornamelijk voorwaartse 4D-reconstructie.

English

Estimating geometry from dynamic scenes, where objects move and deform over time, remains a core challenge in computer vision. Current approaches often rely on multi-stage pipelines or global optimizations that decompose the problem into subtasks, like depth and flow, leading to complex systems prone to errors. In this paper, we present Motion DUSt3R (MonST3R), a novel geometry-first approach that directly estimates per-timestep geometry from dynamic scenes. Our key insight is that by simply estimating a pointmap for each timestep, we can effectively adapt DUST3R's representation, previously only used for static scenes, to dynamic scenes. However, this approach presents a significant challenge: the scarcity of suitable training data, namely dynamic, posed videos with depth labels. Despite this, we show that by posing the problem as a fine-tuning task, identifying several suitable datasets, and strategically training the model on this limited data, we can surprisingly enable the model to handle dynamics, even without an explicit motion representation. Based on this, we introduce new optimizations for several downstream video-specific tasks and demonstrate strong performance on video depth and camera pose estimation, outperforming prior work in terms of robustness and efficiency. Moreover, MonST3R shows promising results for primarily feed-forward 4D reconstruction.