MonST3R: Un Approccio Semplice per Stimare la Geometria in Presenza di Movimento

MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion

October 4, 2024

Autori: Junyi Zhang, Charles Herrmann, Junhwa Hur, Varun Jampani, Trevor Darrell, Forrester Cole, Deqing Sun, Ming-Hsuan Yang

cs.AI

Abstract

L'accurata stima della geometria da scene dinamiche, in cui gli oggetti si muovono e si deformano nel tempo, rimane una sfida fondamentale nella visione artificiale. Gli approcci attuali spesso si basano su pipeline a più stadi o ottimizzazioni globali che scompongono il problema in sotto-task, come profondità e flusso, portando a sistemi complessi inclini agli errori. In questo articolo, presentiamo Motion DUSt3R (MonST3R), un nuovo approccio basato sulla geometria che stima direttamente la geometria per ciascun passaggio temporale da scene dinamiche. La nostra intuizione chiave è che semplicemente stimando una mappa di punti per ciascun passaggio temporale, possiamo adattare efficacemente la rappresentazione di DUST3R, precedentemente utilizzata solo per scene statiche, a scene dinamiche. Tuttavia, questo approccio presenta una sfida significativa: la scarsità di dati di addestramento adeguati, ovvero video dinamici posati con etichette di profondità. Nonostante ciò, dimostriamo che ponendo il problema come un compito di fine-tuning, identificando diversi set di dati adatti e addestrando strategicamente il modello su questi dati limitati, possiamo sorprendentemente abilitare il modello a gestire la dinamicità, anche senza una rappresentazione esplicita del movimento. Sulla base di ciò, introduciamo nuove ottimizzazioni per diversi compiti video-specifici e dimostriamo una forte performance nella stima della profondità del video e della posizione della telecamera, superando i lavori precedenti in termini di robustezza ed efficienza. Inoltre, MonST3R mostra risultati promettenti per la ricostruzione principalmente feed-forward in 4D.

English

Estimating geometry from dynamic scenes, where objects move and deform over time, remains a core challenge in computer vision. Current approaches often rely on multi-stage pipelines or global optimizations that decompose the problem into subtasks, like depth and flow, leading to complex systems prone to errors. In this paper, we present Motion DUSt3R (MonST3R), a novel geometry-first approach that directly estimates per-timestep geometry from dynamic scenes. Our key insight is that by simply estimating a pointmap for each timestep, we can effectively adapt DUST3R's representation, previously only used for static scenes, to dynamic scenes. However, this approach presents a significant challenge: the scarcity of suitable training data, namely dynamic, posed videos with depth labels. Despite this, we show that by posing the problem as a fine-tuning task, identifying several suitable datasets, and strategically training the model on this limited data, we can surprisingly enable the model to handle dynamics, even without an explicit motion representation. Based on this, we introduce new optimizations for several downstream video-specific tasks and demonstrate strong performance on video depth and camera pose estimation, outperforming prior work in terms of robustness and efficiency. Moreover, MonST3R shows promising results for primarily feed-forward 4D reconstruction.