DepthLM: Метрическая оценка глубины с использованием моделей "зрение-язык"

Аннотация

Модели, объединяющие зрение и язык (VLMs), способны гибко решать различные задачи компьютерного зрения через текстовые взаимодействия. Несмотря на успехи в семантическом понимании, современные VLMs, включая GPT-5, всё ещё испытывают трудности в понимании трёхмерной структуры на основе двумерных входных данных. С другой стороны, специализированные модели, работающие исключительно с изображениями, достигают сверхчеловеческой точности в оценке метрической глубины — ключевой задаче понимания 3D. Однако они требуют специфических архитектур и функций потерь. Это различие побуждает нас задать вопрос: Могут ли VLMs достичь экспертной точности без изменения архитектуры или функции потерь? Мы выбираем задачу оценки метрической глубины на уровне пикселей в качестве репрезентативной и показываем, что ответ — да! Удивительно, но всесторонний анализ демонстрирует, что текстовое обучение с учителем на основе разреженных меток достаточно для того, чтобы VLMs раскрыли сильное понимание 3D, без необходимости в плотных головках предсказания или сложных функциях регрессии/регуляризации. Основное ограничение VLMs на самом деле заключается в ссылках на пиксели и неоднозначности камер между наборами данных, что мы решаем с помощью визуальных подсказок и аугментации, учитывающей внутренние параметры. С гораздо меньшими моделями наш метод DepthLM превосходит точность большинства передовых VLMs более чем в 2 раза, впервые делая VLMs сопоставимыми с чисто визуальными моделями. Интересно, что без явного принуждения во время обучения VLMs, обученные с DepthLM, естественным образом избегают излишнего сглаживания, имея значительно меньше "летающих точек" в граничных областях по сравнению с чисто визуальными моделями. Простота DepthLM также позволяет одной VLM охватывать различные 3D задачи, выходящие за рамки оценки метрической глубины. Наш код и модель будут опубликованы по ссылке ниже.

English

Vision language models (VLMs) can flexibly address various vision tasks through text interactions. Although successful in semantic understanding, state-of-the-art VLMs including GPT-5 still struggle in understanding 3D from 2D inputs. On the other hand, expert pure vision models achieve super-human accuracy in metric depth estimation, a key 3D understanding task. However, they require task-specific architectures and losses. Such difference motivates us to ask: Can VLMs reach expert-level accuracy without architecture or loss change? We take per-pixel metric depth estimation as the representative task and show that the answer is yes! Surprisingly, comprehensive analysis shows that text-based supervised-finetuning with sparse labels is sufficient for VLMs to unlock strong 3D understanding, no dense prediction head or complex regression/regularization loss is needed. The bottleneck for VLMs lies actually in pixel reference and cross-dataset camera ambiguity, which we address through visual prompting and intrinsic-conditioned augmentation. With much smaller models, our method DepthLM surpasses the accuracy of most advanced VLMs by over 2x, making VLMs for the first time comparable with pure vision models. Interestingly, without explicit enforcement during training, VLMs trained with DepthLM naturally avoids over-smoothing, having much fewer flying points at boundary regions than pure vision models. The simplicity of DepthLM also enables a single VLM to cover various 3D tasks beyond metric depth. Our code and model will be released at the link below.

DepthLM: Метрическая оценка глубины с использованием моделей "зрение-язык"

DepthLM: Metric Depth From Vision Language Models

Аннотация

Support