MiDaS v3.1 -- Une collection de modèles pour l'estimation robuste de la profondeur relative monoculaire

MiDaS v3.1 -- A Model Zoo for Robust Monocular Relative Depth Estimation

July 26, 2023

Auteurs: Reiner Birkl, Diana Wofk, Matthias Müller

cs.AI

Résumé

Nous publions MiDaS v3.1 pour l'estimation de profondeur monoculaire, proposant une variété de nouveaux modèles basés sur différentes architectures d'encodeurs. Cette version est motivée par le succès des transformers en vision par ordinateur, avec une large gamme de transformers visuels pré-entraînés désormais disponibles. Nous explorons comment l'utilisation des transformers visuels les plus prometteurs en tant qu'encodeurs d'images influence la qualité de l'estimation de profondeur et le temps d'exécution de l'architecture MiDaS. Notre investigation inclut également des approches convolutionnelles récentes qui atteignent une qualité comparable à celle des transformers visuels dans les tâches de classification d'images. Alors que la version précédente MiDaS v3.0 s'appuyait uniquement sur le transformer visuel standard ViT, MiDaS v3.1 propose des modèles supplémentaires basés sur BEiT, Swin, SwinV2, Next-ViT et LeViT. Ces modèles offrent différents compromis entre performance et temps d'exécution. Le meilleur modèle améliore la qualité de l'estimation de profondeur de 28 %, tandis que les modèles efficaces permettent des tâches en aval nécessitant des taux de rafraîchissement élevés. Nous décrivons également le processus général pour intégrer de nouvelles architectures d'encodeurs. Une vidéo résumant ce travail est disponible à l'adresse https://youtu.be/UjaeNNFf9sE et le code est accessible sur https://github.com/isl-org/MiDaS.

English

We release MiDaS v3.1 for monocular depth estimation, offering a variety of new models based on different encoder backbones. This release is motivated by the success of transformers in computer vision, with a large variety of pretrained vision transformers now available. We explore how using the most promising vision transformers as image encoders impacts depth estimation quality and runtime of the MiDaS architecture. Our investigation also includes recent convolutional approaches that achieve comparable quality to vision transformers in image classification tasks. While the previous release MiDaS v3.0 solely leverages the vanilla vision transformer ViT, MiDaS v3.1 offers additional models based on BEiT, Swin, SwinV2, Next-ViT and LeViT. These models offer different performance-runtime tradeoffs. The best model improves the depth estimation quality by 28% while efficient models enable downstream tasks requiring high frame rates. We also describe the general process for integrating new backbones. A video summarizing the work can be found at https://youtu.be/UjaeNNFf9sE and the code is available at https://github.com/isl-org/MiDaS.