SSR: Verbesserung der Tiefenwahrnehmung in Vision-Sprach-Modellen durch rationalegeleitetes räumliches Denken

SSR: Enhancing Depth Perception in Vision-Language Models via Rationale-Guided Spatial Reasoning

May 18, 2025

Autoren: Yang Liu, Ming Ma, Xiaomin Yu, Pengxiang Ding, Han Zhao, Mingyang Sun, Siteng Huang, Donglin Wang

cs.AI

Zusammenfassung

Trotz beeindruckender Fortschritte bei Visual-Language-Modellen (VLMs) für multimodale Aufgaben beschränkt deren Abhängigkeit von RGB-Eingaben das präzise räumliche Verständnis. Bestehende Methoden zur Integration räumlicher Hinweise, wie Punktwolken oder Tiefeninformationen, erfordern entweder spezialisierte Sensoren oder scheitern daran, Tiefeninformationen effektiv für höherwertige Schlussfolgerungen zu nutzen. Zu diesem Zweck schlagen wir eine neuartige Methode zur räumlichen Wahrnehmung und Schlussfolgerung vor, genannt SSR, ein neuartiges Framework, das Roh-Tiefendaten in strukturierte, interpretierbare textuelle Begründungen transformiert. Diese textuellen Begründungen dienen als aussagekräftige Zwischenrepräsentationen, um die räumlichen Schlussfolgerungsfähigkeiten erheblich zu verbessern. Zusätzlich nutzen wir Wissensdistillation, um die generierten Begründungen in kompakte latente Einbettungen zu komprimieren, die eine ressourceneffiziente und Plug-and-Play-Integration in bestehende VLMs ohne erneutes Training ermöglichen. Um eine umfassende Bewertung zu ermöglichen, führen wir einen neuen Datensatz namens SSR-CoT ein, einen millionenfachen visuell-sprachlichen Schlussfolgerungsdatensatz, der mit Zwischenannotationen zur räumlichen Schlussfolgerung angereichert ist, und präsentieren SSRBench, einen umfassenden Multi-Task-Benchmark. Umfangreiche Experimente auf mehreren Benchmarks zeigen, dass SSR die Tiefennutzung erheblich verbessert und die räumliche Schlussfolgerung fördert, wodurch VLMs in Richtung eines menschenähnlicheren multimodalen Verständnisses vorangetrieben werden. Unsere Projektseite finden Sie unter https://yliu-cs.github.io/SSR.

English

Despite impressive advancements in Visual-Language Models (VLMs) for multi-modal tasks, their reliance on RGB inputs limits precise spatial understanding. Existing methods for integrating spatial cues, such as point clouds or depth, either require specialized sensors or fail to effectively exploit depth information for higher-order reasoning. To this end, we propose a novel Spatial Sense and Reasoning method, dubbed SSR, a novel framework that transforms raw depth data into structured, interpretable textual rationales. These textual rationales serve as meaningful intermediate representations to significantly enhance spatial reasoning capabilities. Additionally, we leverage knowledge distillation to compress the generated rationales into compact latent embeddings, which facilitate resource-efficient and plug-and-play integration into existing VLMs without retraining. To enable comprehensive evaluation, we introduce a new dataset named SSR-CoT, a million-scale visual-language reasoning dataset enriched with intermediate spatial reasoning annotations, and present SSRBench, a comprehensive multi-task benchmark. Extensive experiments on multiple benchmarks demonstrate SSR substantially improves depth utilization and enhances spatial reasoning, thereby advancing VLMs toward more human-like multi-modal understanding. Our project page is at https://yliu-cs.github.io/SSR.