MonST3R: Uma Abordagem Simples para Estimar Geometria na Presença de Movimento

MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion

October 4, 2024

Autores: Junyi Zhang, Charles Herrmann, Junhwa Hur, Varun Jampani, Trevor Darrell, Forrester Cole, Deqing Sun, Ming-Hsuan Yang

cs.AI

Resumo

Estimar a geometria de cenas dinâmicas, onde objetos se movem e se deformam ao longo do tempo, continua a ser um desafio central em visão computacional. As abordagens atuais frequentemente dependem de pipelines de múltiplas etapas ou otimizações globais que decomponham o problema em subtarefas, como profundidade e fluxo, resultando em sistemas complexos propensos a erros. Neste artigo, apresentamos o Motion DUSt3R (MonST3R), uma abordagem inovadora que prioriza a geometria e estima diretamente a geometria por etapa de cenas dinâmicas. Nossa principal percepção é que, ao simplesmente estimar um mapa de pontos para cada etapa, podemos adaptar de forma eficaz a representação do DUST3R, anteriormente utilizada apenas para cenas estáticas, para cenas dinâmicas. No entanto, essa abordagem apresenta um desafio significativo: a escassez de dados de treinamento adequados, nomeadamente vídeos dinâmicos com poses e rótulos de profundidade. Apesar disso, demonstramos que ao formular o problema como uma tarefa de ajuste fino, identificando diversos conjuntos de dados adequados e treinando estrategicamente o modelo com esses dados limitados, podemos surpreendentemente capacitar o modelo a lidar com dinâmicas, mesmo sem uma representação explícita de movimento. Com base nisso, introduzimos novas otimizações para diversas tarefas específicas de vídeo e demonstramos um desempenho sólido na estimativa de profundidade e pose de câmera em vídeos, superando trabalhos anteriores em termos de robustez e eficiência. Além disso, o MonST3R apresenta resultados promissores para reconstrução principalmente 4D direta.

English

Estimating geometry from dynamic scenes, where objects move and deform over time, remains a core challenge in computer vision. Current approaches often rely on multi-stage pipelines or global optimizations that decompose the problem into subtasks, like depth and flow, leading to complex systems prone to errors. In this paper, we present Motion DUSt3R (MonST3R), a novel geometry-first approach that directly estimates per-timestep geometry from dynamic scenes. Our key insight is that by simply estimating a pointmap for each timestep, we can effectively adapt DUST3R's representation, previously only used for static scenes, to dynamic scenes. However, this approach presents a significant challenge: the scarcity of suitable training data, namely dynamic, posed videos with depth labels. Despite this, we show that by posing the problem as a fine-tuning task, identifying several suitable datasets, and strategically training the model on this limited data, we can surprisingly enable the model to handle dynamics, even without an explicit motion representation. Based on this, we introduce new optimizations for several downstream video-specific tasks and demonstrate strong performance on video depth and camera pose estimation, outperforming prior work in terms of robustness and efficiency. Moreover, MonST3R shows promising results for primarily feed-forward 4D reconstruction.