Profundidade Pro: Profundidade Métrica Nítida Monocular em Menos de um Segundo

Depth Pro: Sharp Monocular Metric Depth in Less Than a Second

October 2, 2024

Autores: Aleksei Bochkovskii, Amaël Delaunoy, Hugo Germain, Marcel Santos, Yichao Zhou, Stephan R. Richter, Vladlen Koltun

cs.AI

Resumo

Apresentamos um modelo base para estimativa métrica de profundidade monocular de zero-shot. Nosso modelo, Depth Pro, sintetiza mapas de profundidade de alta resolução com nitidez e detalhes de alta frequência incomparáveis. As previsões são métricas, com escala absoluta, sem depender da disponibilidade de metadados como intrínsecos da câmera. E o modelo é rápido, produzindo um mapa de profundidade de 2,25 megapixels em 0,3 segundos em uma GPU padrão. Essas características são possíveis graças a uma série de contribuições técnicas, incluindo um transformador de visão multi-escala eficiente para previsão densa, um protocolo de treinamento que combina conjuntos de dados reais e sintéticos para alcançar alta precisão métrica juntamente com um rastreamento de bordas refinado, métricas de avaliação dedicadas para precisão de borda em mapas de profundidade estimados, e uma estimativa de comprimento focal de última geração a partir de uma única imagem. Experimentos extensos analisam escolhas de projeto específicas e demonstram que o Depth Pro supera trabalhos anteriores em várias dimensões. Disponibilizamos o código e os pesos em https://github.com/apple/ml-depth-pro

English

We present a foundation model for zero-shot metric monocular depth estimation. Our model, Depth Pro, synthesizes high-resolution depth maps with unparalleled sharpness and high-frequency details. The predictions are metric, with absolute scale, without relying on the availability of metadata such as camera intrinsics. And the model is fast, producing a 2.25-megapixel depth map in 0.3 seconds on a standard GPU. These characteristics are enabled by a number of technical contributions, including an efficient multi-scale vision transformer for dense prediction, a training protocol that combines real and synthetic datasets to achieve high metric accuracy alongside fine boundary tracing, dedicated evaluation metrics for boundary accuracy in estimated depth maps, and state-of-the-art focal length estimation from a single image. Extensive experiments analyze specific design choices and demonstrate that Depth Pro outperforms prior work along multiple dimensions. We release code and weights at https://github.com/apple/ml-depth-pro