MiDaS v3.1 -- Una Collezione di Modelli per la Stima Robusta della Profondità Relativa Monoculare

MiDaS v3.1 -- A Model Zoo for Robust Monocular Relative Depth Estimation

July 26, 2023

Autori: Reiner Birkl, Diana Wofk, Matthias Müller

cs.AI

Abstract

Rilasciamo MiDaS v3.1 per la stima della profondità monoculare, offrendo una varietà di nuovi modelli basati su diversi backbone di encoder. Questo rilascio è motivato dal successo dei transformer nella visione artificiale, con una vasta gamma di vision transformer pre-addestrati ora disponibili. Esploriamo come l'utilizzo dei vision transformer più promettenti come encoder di immagini influisca sulla qualità della stima della profondità e sul tempo di esecuzione dell'architettura MiDaS. La nostra indagine include anche recenti approcci convoluzionali che raggiungono una qualità comparabile ai vision transformer nei compiti di classificazione delle immagini. Mentre la precedente versione MiDaS v3.0 sfrutta esclusivamente il vision transformer standard ViT, MiDaS v3.1 offre modelli aggiuntivi basati su BEiT, Swin, SwinV2, Next-ViT e LeViT. Questi modelli offrono diversi compromessi tra prestazioni e tempo di esecuzione. Il modello migliore migliora la qualità della stima della profondità del 28%, mentre i modelli efficienti abilitano compiti downstream che richiedono alte frequenze di frame. Descriviamo inoltre il processo generale per integrare nuovi backbone. Un video che riassume il lavoro è disponibile all'indirizzo https://youtu.be/UjaeNNFf9sE e il codice è disponibile su https://github.com/isl-org/MiDaS.

English

We release MiDaS v3.1 for monocular depth estimation, offering a variety of new models based on different encoder backbones. This release is motivated by the success of transformers in computer vision, with a large variety of pretrained vision transformers now available. We explore how using the most promising vision transformers as image encoders impacts depth estimation quality and runtime of the MiDaS architecture. Our investigation also includes recent convolutional approaches that achieve comparable quality to vision transformers in image classification tasks. While the previous release MiDaS v3.0 solely leverages the vanilla vision transformer ViT, MiDaS v3.1 offers additional models based on BEiT, Swin, SwinV2, Next-ViT and LeViT. These models offer different performance-runtime tradeoffs. The best model improves the depth estimation quality by 28% while efficient models enable downstream tasks requiring high frame rates. We also describe the general process for integrating new backbones. A video summarizing the work can be found at https://youtu.be/UjaeNNFf9sE and the code is available at https://github.com/isl-org/MiDaS.