MonST3R: Простой подход к оценке геометрии в условиях движения

MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion

October 4, 2024

Авторы: Junyi Zhang, Charles Herrmann, Junhwa Hur, Varun Jampani, Trevor Darrell, Forrester Cole, Deqing Sun, Ming-Hsuan Yang

cs.AI

Аннотация

Оценка геометрии динамических сцен, где объекты движутся и деформируются со временем, остается одним из основных вызовов в компьютерном зрении. Существующие подходы часто полагаются на многоэтапные конвейеры или глобальные оптимизации, которые декомпозируют проблему на подзадачи, такие как глубина и поток, что приводит к сложным системам, склонным к ошибкам. В данной статье мы представляем Motion DUSt3R (MonST3R), новый подход, ориентированный на геометрию, который напрямую оценивает геометрию на каждом временном шаге динамических сцен. Наш ключевой инсайт заключается в том, что, просто оценивая точечную карту для каждого временного шага, мы можем эффективно адаптировать представление DUST3R, ранее использовавшееся только для статических сцен, к динамическим сценам. Однако этот подход представляет существенное вызов: дефицит подходящих обучающих данных, а именно динамических видео с разметкой глубины. Несмотря на это, мы показываем, что, поставив проблему как задачу донастройки, выбрав несколько подходящих наборов данных и стратегически обучив модель на этом ограниченном объеме данных, мы можем удивительно обеспечить модель способностью обрабатывать динамику, даже без явного представления движения. На основе этого мы представляем новые оптимизации для нескольких последующих видеоспецифических задач и демонстрируем высокую производительность в оценке глубины видео и позиции камеры, превосходя предыдущие работы по показателям надежности и эффективности. Более того, MonST3R показывает многообещающие результаты в основном для прямого 4D восстановления.

English

Estimating geometry from dynamic scenes, where objects move and deform over time, remains a core challenge in computer vision. Current approaches often rely on multi-stage pipelines or global optimizations that decompose the problem into subtasks, like depth and flow, leading to complex systems prone to errors. In this paper, we present Motion DUSt3R (MonST3R), a novel geometry-first approach that directly estimates per-timestep geometry from dynamic scenes. Our key insight is that by simply estimating a pointmap for each timestep, we can effectively adapt DUST3R's representation, previously only used for static scenes, to dynamic scenes. However, this approach presents a significant challenge: the scarcity of suitable training data, namely dynamic, posed videos with depth labels. Despite this, we show that by posing the problem as a fine-tuning task, identifying several suitable datasets, and strategically training the model on this limited data, we can surprisingly enable the model to handle dynamics, even without an explicit motion representation. Based on this, we introduce new optimizations for several downstream video-specific tasks and demonstrate strong performance on video depth and camera pose estimation, outperforming prior work in terms of robustness and efficiency. Moreover, MonST3R shows promising results for primarily feed-forward 4D reconstruction.