Fast3R: К 3D-восстановлению 1000+ изображений за один проход вперед

Fast3R: Towards 3D Reconstruction of 1000+ Images in One Forward Pass

January 23, 2025

Авторы: Jianing Yang, Alexander Sax, Kevin J. Liang, Mikael Henaff, Hao Tang, Ang Cao, Joyce Chai, Franziska Meier, Matt Feiszli

cs.AI

Аннотация

Многозначная реконструкция в 3D остается одним из основных вызовов в компьютерном зрении, особенно в приложениях, требующих точных и масштабируемых представлений с различных точек зрения. Текущие ведущие методы, такие как DUSt3R, используют в основном попарный подход, обрабатывая изображения парами и требуя дорогостоящих процедур глобального выравнивания для реконструкции из нескольких видов. В данной работе мы предлагаем Fast 3D Reconstruction (Fast3R), новую многозначную обобщенную версию DUSt3R, которая обеспечивает эффективную и масштабируемую 3D реконструкцию путем параллельной обработки множества видов. Архитектура Fast3R на основе трансформера передает N изображений за один проход, обходя необходимость итеративного выравнивания. Через обширные эксперименты по оценке позы камеры и 3D реконструкции Fast3R демонстрирует передовые характеристики, с значительными улучшениями скорости вывода и снижением накопления ошибок. Эти результаты утверждают Fast3R как надежную альтернативу для многозначных приложений, предлагая улучшенную масштабируемость без ущерба точности реконструкции.

English

Multi-view 3D reconstruction remains a core challenge in computer vision, particularly in applications requiring accurate and scalable representations across diverse perspectives. Current leading methods such as DUSt3R employ a fundamentally pairwise approach, processing images in pairs and necessitating costly global alignment procedures to reconstruct from multiple views. In this work, we propose Fast 3D Reconstruction (Fast3R), a novel multi-view generalization to DUSt3R that achieves efficient and scalable 3D reconstruction by processing many views in parallel. Fast3R's Transformer-based architecture forwards N images in a single forward pass, bypassing the need for iterative alignment. Through extensive experiments on camera pose estimation and 3D reconstruction, Fast3R demonstrates state-of-the-art performance, with significant improvements in inference speed and reduced error accumulation. These results establish Fast3R as a robust alternative for multi-view applications, offering enhanced scalability without compromising reconstruction accuracy.