SSR: Migliorare la percezione della profondità nei modelli visione-linguaggio tramite ragionamento spaziale guidato da motivazioni razionali

SSR: Enhancing Depth Perception in Vision-Language Models via Rationale-Guided Spatial Reasoning

May 18, 2025

Autori: Yang Liu, Ming Ma, Xiaomin Yu, Pengxiang Ding, Han Zhao, Mingyang Sun, Siteng Huang, Donglin Wang

cs.AI

Abstract

Nonostante i notevoli progressi nei Modelli Visivo-Linguistici (VLMs) per compiti multi-modali, la loro dipendenza da input RGB limita una comprensione spaziale precisa. I metodi esistenti per integrare indicazioni spaziali, come nuvole di punti o profondità, richiedono sensori specializzati o non riescono a sfruttare efficacemente le informazioni di profondità per ragionamenti di ordine superiore. A tal fine, proponiamo un nuovo metodo chiamato Spatial Sense and Reasoning (SSR), un framework innovativo che trasforma i dati grezzi di profondità in razionalità testuali strutturate e interpretabili. Queste razionalità testuali fungono da rappresentazioni intermedie significative per migliorare notevolmente le capacità di ragionamento spaziale. Inoltre, sfruttiamo la distillazione della conoscenza per comprimere le razionalità generate in embedding latenti compatti, che facilitano un'integrazione efficiente in termini di risorse e plug-and-play nei VLMs esistenti senza necessità di riaddestramento. Per consentire una valutazione completa, introduciamo un nuovo dataset denominato SSR-CoT, un dataset di ragionamento visivo-linguistico su larga scala arricchito con annotazioni intermedie di ragionamento spaziale, e presentiamo SSRBench, un benchmark multi-task completo. Esperimenti estesi su più benchmark dimostrano che SSR migliora sostanzialmente l'utilizzo della profondità e potenzia il ragionamento spaziale, avvicinando così i VLMs a una comprensione multi-modale più simile a quella umana. La nostra pagina del progetto è disponibile all'indirizzo https://yliu-cs.github.io/SSR.

English

Despite impressive advancements in Visual-Language Models (VLMs) for multi-modal tasks, their reliance on RGB inputs limits precise spatial understanding. Existing methods for integrating spatial cues, such as point clouds or depth, either require specialized sensors or fail to effectively exploit depth information for higher-order reasoning. To this end, we propose a novel Spatial Sense and Reasoning method, dubbed SSR, a novel framework that transforms raw depth data into structured, interpretable textual rationales. These textual rationales serve as meaningful intermediate representations to significantly enhance spatial reasoning capabilities. Additionally, we leverage knowledge distillation to compress the generated rationales into compact latent embeddings, which facilitate resource-efficient and plug-and-play integration into existing VLMs without retraining. To enable comprehensive evaluation, we introduce a new dataset named SSR-CoT, a million-scale visual-language reasoning dataset enriched with intermediate spatial reasoning annotations, and present SSRBench, a comprehensive multi-task benchmark. Extensive experiments on multiple benchmarks demonstrate SSR substantially improves depth utilization and enhances spatial reasoning, thereby advancing VLMs toward more human-like multi-modal understanding. Our project page is at https://yliu-cs.github.io/SSR.