SSR: Mejora de la Percepción de Profundidad en Modelos de Visión-Lenguaje mediante Razonamiento Espacial Guiado por Fundamentos

SSR: Enhancing Depth Perception in Vision-Language Models via Rationale-Guided Spatial Reasoning

May 18, 2025

Autores: Yang Liu, Ming Ma, Xiaomin Yu, Pengxiang Ding, Han Zhao, Mingyang Sun, Siteng Huang, Donglin Wang

cs.AI

Resumen

A pesar de los impresionantes avances en los Modelos de Lenguaje Visual (VLMs) para tareas multimodales, su dependencia de entradas RGB limita la comprensión espacial precisa. Los métodos existentes para integrar señales espaciales, como nubes de puntos o profundidad, requieren sensores especializados o no logran explotar eficazmente la información de profundidad para razonamientos de orden superior. Con este fin, proponemos un nuevo método de Sentido y Razonamiento Espacial, denominado SSR, un marco novedoso que transforma datos de profundidad en bruto en racionales textuales estructurados e interpretables. Estos racionales textuales sirven como representaciones intermedias significativas para mejorar significativamente las capacidades de razonamiento espacial. Además, aprovechamos la destilación de conocimiento para comprimir los racionales generados en incrustaciones latentes compactas, lo que facilita una integración eficiente en recursos y plug-and-play en los VLMs existentes sin necesidad de reentrenamiento. Para permitir una evaluación exhaustiva, introducimos un nuevo conjunto de datos llamado SSR-CoT, un conjunto de datos de razonamiento visual-lingüístico a gran escala enriquecido con anotaciones intermedias de razonamiento espacial, y presentamos SSRBench, un punto de referencia integral de múltiples tareas. Experimentos extensos en múltiples puntos de referencia demuestran que SSR mejora sustancialmente la utilización de la profundidad y mejora el razonamiento espacial, avanzando así los VLMs hacia una comprensión multimodal más similar a la humana. Nuestra página del proyecto se encuentra en https://yliu-cs.github.io/SSR.

English

Despite impressive advancements in Visual-Language Models (VLMs) for multi-modal tasks, their reliance on RGB inputs limits precise spatial understanding. Existing methods for integrating spatial cues, such as point clouds or depth, either require specialized sensors or fail to effectively exploit depth information for higher-order reasoning. To this end, we propose a novel Spatial Sense and Reasoning method, dubbed SSR, a novel framework that transforms raw depth data into structured, interpretable textual rationales. These textual rationales serve as meaningful intermediate representations to significantly enhance spatial reasoning capabilities. Additionally, we leverage knowledge distillation to compress the generated rationales into compact latent embeddings, which facilitate resource-efficient and plug-and-play integration into existing VLMs without retraining. To enable comprehensive evaluation, we introduce a new dataset named SSR-CoT, a million-scale visual-language reasoning dataset enriched with intermediate spatial reasoning annotations, and present SSRBench, a comprehensive multi-task benchmark. Extensive experiments on multiple benchmarks demonstrate SSR substantially improves depth utilization and enhances spatial reasoning, thereby advancing VLMs toward more human-like multi-modal understanding. Our project page is at https://yliu-cs.github.io/SSR.