DepthLM: Estimativa de Profundidade Métrica a partir de Modelos de Linguagem Visual

Resumo

Modelos de linguagem visual (VLMs) podem abordar de forma flexível diversas tarefas visuais por meio de interações textuais. Embora bem-sucedidos na compreensão semântica, VLMs de última geração, incluindo o GPT-5, ainda enfrentam dificuldades para entender informações 3D a partir de entradas 2D. Por outro lado, modelos especializados puramente visuais alcançam precisão sobre-humana na estimativa de profundidade métrica, uma tarefa fundamental para a compreensão 3D. No entanto, eles exigem arquiteturas e funções de perda específicas para cada tarefa. Essa diferença nos motiva a perguntar: VLMs podem atingir precisão de nível especialista sem alterações na arquitetura ou na função de perda? Tomamos a estimativa de profundidade métrica por pixel como tarefa representativa e mostramos que a resposta é sim! Surpreendentemente, uma análise abrangente revela que o ajuste fino supervisionado baseado em texto com rótulos esparsos é suficiente para que VLMs desbloqueiem uma forte compreensão 3D, sem a necessidade de cabeças de predição densa ou funções de perda complexas de regressão/regularização. O gargalo para VLMs está, na verdade, na referência de pixels e na ambiguidade de câmeras entre conjuntos de dados, que abordamos por meio de *prompting* visual e aumento condicionado intrínseco. Com modelos muito menores, nosso método DepthLM supera a precisão da maioria dos VLMs avançados em mais de 2x, tornando VLMs comparáveis pela primeira vez a modelos puramente visuais. Curiosamente, sem imposição explícita durante o treinamento, VLMs treinados com DepthLM evitam naturalmente o excesso de suavização, apresentando muito menos pontos flutuantes em regiões de borda do que modelos puramente visuais. A simplicidade do DepthLM também permite que um único VLM cubra diversas tarefas 3D além da estimativa de profundidade métrica. Nosso código e modelo serão disponibilizados no link abaixo.

English

Vision language models (VLMs) can flexibly address various vision tasks through text interactions. Although successful in semantic understanding, state-of-the-art VLMs including GPT-5 still struggle in understanding 3D from 2D inputs. On the other hand, expert pure vision models achieve super-human accuracy in metric depth estimation, a key 3D understanding task. However, they require task-specific architectures and losses. Such difference motivates us to ask: Can VLMs reach expert-level accuracy without architecture or loss change? We take per-pixel metric depth estimation as the representative task and show that the answer is yes! Surprisingly, comprehensive analysis shows that text-based supervised-finetuning with sparse labels is sufficient for VLMs to unlock strong 3D understanding, no dense prediction head or complex regression/regularization loss is needed. The bottleneck for VLMs lies actually in pixel reference and cross-dataset camera ambiguity, which we address through visual prompting and intrinsic-conditioned augmentation. With much smaller models, our method DepthLM surpasses the accuracy of most advanced VLMs by over 2x, making VLMs for the first time comparable with pure vision models. Interestingly, without explicit enforcement during training, VLMs trained with DepthLM naturally avoids over-smoothing, having much fewer flying points at boundary regions than pure vision models. The simplicity of DepthLM also enables a single VLM to cover various 3D tasks beyond metric depth. Our code and model will be released at the link below.

DepthLM: Estimativa de Profundidade Métrica a partir de Modelos de Linguagem Visual

DepthLM: Metric Depth From Vision Language Models

Resumo

Support