MiDaS v3.1 -- ロバストな単眼相対深度推定のためのモデルズー

要旨

MiDaS v3.1をリリースし、単眼深度推定のための多様な新しいモデルを提供します。このリリースは、コンピュータビジョンにおけるトランスフォーマーの成功と、現在利用可能な多種多様な事前学習済みビジョントランスフォーマーに触発されています。最も有望なビジョントランスフォーマーを画像エンコーダーとして使用することが、MiDaSアーキテクチャの深度推定品質と実行時間にどのような影響を与えるかを探求します。また、画像分類タスクにおいてビジョントランスフォーマーと同等の品質を達成する最近の畳み込みアプローチも調査対象としています。前回のリリースであるMiDaS v3.0では、標準的なビジョントランスフォーマーViTのみを活用していましたが、MiDaS v3.1では、BEiT、Swin、SwinV2、Next-ViT、LeViTに基づく追加モデルを提供します。これらのモデルは、性能と実行時間の異なるトレードオフを提供します。最良のモデルは深度推定品質を28%向上させ、効率的なモデルは高フレームレートを必要とする下流タスクを可能にします。また、新しいバックボーンを統合するための一般的なプロセスについても説明します。この研究をまとめた動画はhttps://youtu.be/UjaeNNFf9sEで、コードはhttps://github.com/isl-org/MiDaSで公開されています。

English

We release MiDaS v3.1 for monocular depth estimation, offering a variety of new models based on different encoder backbones. This release is motivated by the success of transformers in computer vision, with a large variety of pretrained vision transformers now available. We explore how using the most promising vision transformers as image encoders impacts depth estimation quality and runtime of the MiDaS architecture. Our investigation also includes recent convolutional approaches that achieve comparable quality to vision transformers in image classification tasks. While the previous release MiDaS v3.0 solely leverages the vanilla vision transformer ViT, MiDaS v3.1 offers additional models based on BEiT, Swin, SwinV2, Next-ViT and LeViT. These models offer different performance-runtime tradeoffs. The best model improves the depth estimation quality by 28% while efficient models enable downstream tasks requiring high frame rates. We also describe the general process for integrating new backbones. A video summarizing the work can be found at https://youtu.be/UjaeNNFf9sE and the code is available at https://github.com/isl-org/MiDaS.

MiDaS v3.1 -- ロバストな単眼相対深度推定のためのモデルズー

MiDaS v3.1 -- A Model Zoo for Robust Monocular Relative Depth Estimation

要旨

Support