DepthLM: Metrische Tiefenschätzung aus visuellen Sprachmodellen

papers.abstract

Vision-Language-Modelle (VLMs) können durch Textinteraktionen flexibel verschiedene Vision-Aufgaben bewältigen. Obwohl sie bei der semantischen Verständnisleistung erfolgreich sind, haben selbst modernste VLMs wie GPT-5 Schwierigkeiten, 3D aus 2D-Eingaben zu verstehen. Andererseits erreichen spezialisierte reine Vision-Modelle übermenschliche Genauigkeit bei der metrischen Tiefenschätzung, einer zentralen Aufgabe des 3D-Verständnisses. Diese Modelle benötigen jedoch aufgaben-spezifische Architekturen und Verlustfunktionen. Dieser Unterschied motiviert uns zu der Frage: Können VLMs Experten-Genauigkeit erreichen, ohne ihre Architektur oder Verlustfunktion zu ändern? Wir nehmen die metrische Tiefenschätzung auf Pixelbasis als repräsentative Aufgabe und zeigen, dass die Antwort Ja lautet! Überraschenderweise zeigt eine umfassende Analyse, dass textbasierte Supervised-Finetuning mit spärlichen Labels ausreicht, um bei VLMs ein starkes 3D-Verständnis zu ermöglichen – ohne dichte Vorhersageköpfe oder komplexe Regressions-/Regularisierungsverluste. Der Engpass bei VLMs liegt tatsächlich in der Pixelreferenz und der Kamera-Mehrdeutigkeit zwischen Datensätzen, die wir durch visuelle Prompting und intrinsisch-bedingte Augmentierung adressieren. Mit deutlich kleineren Modellen übertrifft unsere Methode DepthLM die Genauigkeit der meisten fortschrittlichen VLMs um mehr als das 2-fache und macht VLMs erstmals mit reinen Vision-Modellen vergleichbar. Interessanterweise vermeiden VLMs, die mit DepthLM trainiert wurden, ohne explizite Durchsetzung während des Trainings natürlicherweise Überglättung und weisen in Randbereichen deutlich weniger fliegende Punkte auf als reine Vision-Modelle. Die Einfachheit von DepthLM ermöglicht es zudem, dass ein einzelnes VLM verschiedene 3D-Aufgaben über die metrische Tiefenschätzung hinaus abdeckt. Unser Code und Modell werden unter dem folgenden Link veröffentlicht.

English

Vision language models (VLMs) can flexibly address various vision tasks through text interactions. Although successful in semantic understanding, state-of-the-art VLMs including GPT-5 still struggle in understanding 3D from 2D inputs. On the other hand, expert pure vision models achieve super-human accuracy in metric depth estimation, a key 3D understanding task. However, they require task-specific architectures and losses. Such difference motivates us to ask: Can VLMs reach expert-level accuracy without architecture or loss change? We take per-pixel metric depth estimation as the representative task and show that the answer is yes! Surprisingly, comprehensive analysis shows that text-based supervised-finetuning with sparse labels is sufficient for VLMs to unlock strong 3D understanding, no dense prediction head or complex regression/regularization loss is needed. The bottleneck for VLMs lies actually in pixel reference and cross-dataset camera ambiguity, which we address through visual prompting and intrinsic-conditioned augmentation. With much smaller models, our method DepthLM surpasses the accuracy of most advanced VLMs by over 2x, making VLMs for the first time comparable with pure vision models. Interestingly, without explicit enforcement during training, VLMs trained with DepthLM naturally avoids over-smoothing, having much fewer flying points at boundary regions than pure vision models. The simplicity of DepthLM also enables a single VLM to cover various 3D tasks beyond metric depth. Our code and model will be released at the link below.

DepthLM: Metrische Tiefenschätzung aus visuellen Sprachmodellen

DepthLM: Metric Depth From Vision Language Models

papers.abstract

Support