SSR : Amélioration de la perception de la profondeur dans les modèles vision-langage grâce au raisonnement spatial guidé par des justifications

SSR: Enhancing Depth Perception in Vision-Language Models via Rationale-Guided Spatial Reasoning

May 18, 2025

Auteurs: Yang Liu, Ming Ma, Xiaomin Yu, Pengxiang Ding, Han Zhao, Mingyang Sun, Siteng Huang, Donglin Wang

cs.AI

Résumé

Malgré les avancées impressionnantes des modèles visio-linguistiques (VLMs) pour les tâches multimodales, leur dépendance aux entrées RVB limite une compréhension spatiale précise. Les méthodes existantes pour intégrer des indices spatiaux, tels que les nuages de points ou la profondeur, nécessitent soit des capteurs spécialisés, soit échouent à exploiter efficacement l'information de profondeur pour un raisonnement d'ordre supérieur. À cette fin, nous proposons une nouvelle méthode de Sens et Raisonnement Spatial, baptisée SSR, un cadre novateur qui transforme les données brutes de profondeur en justifications textuelles structurées et interprétables. Ces justifications textuelles servent de représentations intermédiaires significatives pour améliorer considérablement les capacités de raisonnement spatial. De plus, nous exploitons la distillation de connaissances pour compresser les justifications générées en embeddings latents compacts, facilitant ainsi une intégration économe en ressources et plug-and-play dans les VLMs existants sans nécessiter de réentraînement. Pour permettre une évaluation complète, nous introduisons un nouveau jeu de données nommé SSR-CoT, un ensemble de données de raisonnement visio-linguistique à grande échelle enrichi d'annotations intermédiaires de raisonnement spatial, et présentons SSRBench, un benchmark multi-tâches complet. Des expériences approfondies sur plusieurs benchmarks démontrent que SSR améliore substantiellement l'utilisation de la profondeur et renforce le raisonnement spatial, faisant ainsi progresser les VLMs vers une compréhension multimodale plus proche de celle des humains. Notre page de projet est disponible à l'adresse https://yliu-cs.github.io/SSR.

English

Despite impressive advancements in Visual-Language Models (VLMs) for multi-modal tasks, their reliance on RGB inputs limits precise spatial understanding. Existing methods for integrating spatial cues, such as point clouds or depth, either require specialized sensors or fail to effectively exploit depth information for higher-order reasoning. To this end, we propose a novel Spatial Sense and Reasoning method, dubbed SSR, a novel framework that transforms raw depth data into structured, interpretable textual rationales. These textual rationales serve as meaningful intermediate representations to significantly enhance spatial reasoning capabilities. Additionally, we leverage knowledge distillation to compress the generated rationales into compact latent embeddings, which facilitate resource-efficient and plug-and-play integration into existing VLMs without retraining. To enable comprehensive evaluation, we introduce a new dataset named SSR-CoT, a million-scale visual-language reasoning dataset enriched with intermediate spatial reasoning annotations, and present SSRBench, a comprehensive multi-task benchmark. Extensive experiments on multiple benchmarks demonstrate SSR substantially improves depth utilization and enhances spatial reasoning, thereby advancing VLMs toward more human-like multi-modal understanding. Our project page is at https://yliu-cs.github.io/SSR.