MiDaS v3.1 -- Een Modelcollectie voor Robuuste Monoculaire Relatieve Diepteschatting

MiDaS v3.1 -- A Model Zoo for Robust Monocular Relative Depth Estimation

July 26, 2023

Auteurs: Reiner Birkl, Diana Wofk, Matthias Müller

cs.AI

Samenvatting

We brengen MiDaS v3.1 uit voor monokulaire diepteschatting, met een verscheidenheid aan nieuwe modellen gebaseerd op verschillende encoder-backbones. Deze release is gemotiveerd door het succes van transformers in computervisie, waarbij nu een grote verscheidenheid aan vooraf getrainde vision transformers beschikbaar is. We onderzoeken hoe het gebruik van de meest veelbelovende vision transformers als beeldencoders de kwaliteit van diepteschatting en de uitvoeringstijd van de MiDaS-architectuur beïnvloedt. Ons onderzoek omvat ook recente convolutionele benaderingen die een vergelijkbare kwaliteit bereiken als vision transformers in beeldclassificatietaken. Terwijl de vorige release MiDaS v3.0 uitsluitend gebruikmaakte van de standaard vision transformer ViT, biedt MiDaS v3.1 aanvullende modellen gebaseerd op BEiT, Swin, SwinV2, Next-ViT en LeViT. Deze modellen bieden verschillende afwegingen tussen prestaties en uitvoeringstijd. Het beste model verbetert de kwaliteit van diepteschatting met 28%, terwijl efficiënte modellen downstreamtaken mogelijk maken die een hoog frame rate vereisen. We beschrijven ook het algemene proces voor het integreren van nieuwe backbones. Een video die het werk samenvat, is te vinden op https://youtu.be/UjaeNNFf9sE en de code is beschikbaar op https://github.com/isl-org/MiDaS.

English

We release MiDaS v3.1 for monocular depth estimation, offering a variety of new models based on different encoder backbones. This release is motivated by the success of transformers in computer vision, with a large variety of pretrained vision transformers now available. We explore how using the most promising vision transformers as image encoders impacts depth estimation quality and runtime of the MiDaS architecture. Our investigation also includes recent convolutional approaches that achieve comparable quality to vision transformers in image classification tasks. While the previous release MiDaS v3.0 solely leverages the vanilla vision transformer ViT, MiDaS v3.1 offers additional models based on BEiT, Swin, SwinV2, Next-ViT and LeViT. These models offer different performance-runtime tradeoffs. The best model improves the depth estimation quality by 28% while efficient models enable downstream tasks requiring high frame rates. We also describe the general process for integrating new backbones. A video summarizing the work can be found at https://youtu.be/UjaeNNFf9sE and the code is available at https://github.com/isl-org/MiDaS.