DepthLM: Estimación de Profundidad Métrica a partir de Modelos de Visión y Lenguaje

Resumen

Los modelos de lenguaje visual (VLMs, por sus siglas en inglés) pueden abordar de manera flexible diversas tareas de visión a través de interacciones de texto. Aunque tienen éxito en la comprensión semántica, los VLMs más avanzados, incluido GPT-5, aún tienen dificultades para comprender la información 3D a partir de entradas 2D. Por otro lado, los modelos de visión pura expertos logran una precisión superior a la humana en la estimación de profundidad métrica, una tarea clave para la comprensión 3D. Sin embargo, estos requieren arquitecturas y funciones de pérdida específicas para cada tarea. Esta diferencia nos motiva a preguntar: ¿Pueden los VLMs alcanzar una precisión de nivel experto sin cambios en su arquitectura o función de pérdida? Tomamos la estimación de profundidad métrica por píxel como tarea representativa y demostramos que la respuesta es ¡sí! Sorprendentemente, un análisis exhaustivo muestra que el ajuste fino supervisado basado en texto con etiquetas dispersas es suficiente para que los VLMs desbloqueen una sólida comprensión 3D, sin necesidad de cabezales de predicción densa o funciones de pérdida complejas de regresión/regularización. El cuello de botella para los VLMs radica realmente en la referencia de píxeles y la ambigüedad de la cámara entre conjuntos de datos, lo cual abordamos mediante indicaciones visuales y aumentación condicionada intrínseca. Con modelos mucho más pequeños, nuestro método DepthLM supera la precisión de la mayoría de los VLMs más avanzados en más de 2x, haciendo que los VLMs sean, por primera vez, comparables con los modelos de visión pura. Curiosamente, sin una imposición explícita durante el entrenamiento, los VLMs entrenados con DepthLM evitan naturalmente el sobre-suavizado, presentando muchos menos puntos voladores en las regiones de borde que los modelos de visión pura. La simplicidad de DepthLM también permite que un solo VLM cubra diversas tareas 3D más allá de la profundidad métrica. Nuestro código y modelo se publicarán en el enlace a continuación.

English

Vision language models (VLMs) can flexibly address various vision tasks through text interactions. Although successful in semantic understanding, state-of-the-art VLMs including GPT-5 still struggle in understanding 3D from 2D inputs. On the other hand, expert pure vision models achieve super-human accuracy in metric depth estimation, a key 3D understanding task. However, they require task-specific architectures and losses. Such difference motivates us to ask: Can VLMs reach expert-level accuracy without architecture or loss change? We take per-pixel metric depth estimation as the representative task and show that the answer is yes! Surprisingly, comprehensive analysis shows that text-based supervised-finetuning with sparse labels is sufficient for VLMs to unlock strong 3D understanding, no dense prediction head or complex regression/regularization loss is needed. The bottleneck for VLMs lies actually in pixel reference and cross-dataset camera ambiguity, which we address through visual prompting and intrinsic-conditioned augmentation. With much smaller models, our method DepthLM surpasses the accuracy of most advanced VLMs by over 2x, making VLMs for the first time comparable with pure vision models. Interestingly, without explicit enforcement during training, VLMs trained with DepthLM naturally avoids over-smoothing, having much fewer flying points at boundary regions than pure vision models. The simplicity of DepthLM also enables a single VLM to cover various 3D tasks beyond metric depth. Our code and model will be released at the link below.

DepthLM: Estimación de Profundidad Métrica a partir de Modelos de Visión y Lenguaje

DepthLM: Metric Depth From Vision Language Models

Resumen

Support