MiDaS v3.1 — Коллекция моделей для надежного монокулярного оценивания относительной глубины

MiDaS v3.1 -- A Model Zoo for Robust Monocular Relative Depth Estimation

July 26, 2023

Авторы: Reiner Birkl, Diana Wofk, Matthias Müller

cs.AI

Аннотация

Мы представляем MiDaS v3.1 для оценки монохромной глубины, предлагая набор новых моделей, основанных на различных архитектурах энкодеров. Этот выпуск мотивирован успехами трансформеров в компьютерном зрении, а также широким разнообразием доступных предобученных визуальных трансформеров. Мы исследуем, как использование наиболее перспективных визуальных трансформеров в качестве энкодеров изображений влияет на качество оценки глубины и время выполнения архитектуры MiDaS. Наше исследование также включает современные сверточные подходы, которые достигают сопоставимого с визуальными трансформерами качества в задачах классификации изображений. В то время как предыдущий выпуск MiDaS v3.0 использовал только базовый визуальный трансформер ViT, MiDaS v3.1 предлагает дополнительные модели на основе BEiT, Swin, SwinV2, Next-ViT и LeViT. Эти модели предоставляют различные компромиссы между производительностью и временем выполнения. Лучшая модель улучшает качество оценки глубины на 28%, а эффективные модели позволяют выполнять задачи, требующие высокой частоты кадров. Мы также описываем общий процесс интеграции новых архитектур энкодеров. Видео, суммирующее работу, можно найти по адресу https://youtu.be/UjaeNNFf9sE, а код доступен на https://github.com/isl-org/MiDaS.

English

We release MiDaS v3.1 for monocular depth estimation, offering a variety of new models based on different encoder backbones. This release is motivated by the success of transformers in computer vision, with a large variety of pretrained vision transformers now available. We explore how using the most promising vision transformers as image encoders impacts depth estimation quality and runtime of the MiDaS architecture. Our investigation also includes recent convolutional approaches that achieve comparable quality to vision transformers in image classification tasks. While the previous release MiDaS v3.0 solely leverages the vanilla vision transformer ViT, MiDaS v3.1 offers additional models based on BEiT, Swin, SwinV2, Next-ViT and LeViT. These models offer different performance-runtime tradeoffs. The best model improves the depth estimation quality by 28% while efficient models enable downstream tasks requiring high frame rates. We also describe the general process for integrating new backbones. A video summarizing the work can be found at https://youtu.be/UjaeNNFf9sE and the code is available at https://github.com/isl-org/MiDaS.