SSR: Улучшение восприятия глубины в моделях "зрение-язык" с помощью пространственного рассуждения, управляемого обоснованием

SSR: Enhancing Depth Perception in Vision-Language Models via Rationale-Guided Spatial Reasoning

May 18, 2025

Авторы: Yang Liu, Ming Ma, Xiaomin Yu, Pengxiang Ding, Han Zhao, Mingyang Sun, Siteng Huang, Donglin Wang

cs.AI

Аннотация

Несмотря на впечатляющие достижения в области визуально-языковых моделей (VLMs) для многомодальных задач, их зависимость от RGB-входов ограничивает точное пространственное понимание. Существующие методы интеграции пространственных подсказок, таких как облака точек или данные о глубине, либо требуют специализированных сенсоров, либо неэффективно используют информацию о глубине для задач более высокого порядка. В связи с этим мы предлагаем новый метод пространственного восприятия и рассуждения, названный SSR, — инновационную структуру, которая преобразует необработанные данные о глубине в структурированные, интерпретируемые текстовые обоснования. Эти текстовые обоснования служат значимыми промежуточными представлениями, существенно улучшающими способности к пространственному рассуждению. Кроме того, мы используем дистилляцию знаний для сжатия сгенерированных обоснований в компактные латентные эмбеддинги, что позволяет эффективно интегрировать их в существующие VLMs без необходимости переобучения. Для всесторонней оценки мы представляем новый набор данных SSR-CoT, масштабный визуально-языковой набор данных для рассуждений, обогащенный промежуточными аннотациями пространственного рассуждения, а также SSRBench — комплексный многозадачный бенчмарк. Многочисленные эксперименты на различных бенчмарках демонстрируют, что SSR существенно улучшает использование данных о глубине и повышает качество пространственного рассуждения, тем самым продвигая VLMs к более человеко-подобному многомодальному пониманию. Наш проект доступен по адресу: https://yliu-cs.github.io/SSR.

English

Despite impressive advancements in Visual-Language Models (VLMs) for multi-modal tasks, their reliance on RGB inputs limits precise spatial understanding. Existing methods for integrating spatial cues, such as point clouds or depth, either require specialized sensors or fail to effectively exploit depth information for higher-order reasoning. To this end, we propose a novel Spatial Sense and Reasoning method, dubbed SSR, a novel framework that transforms raw depth data into structured, interpretable textual rationales. These textual rationales serve as meaningful intermediate representations to significantly enhance spatial reasoning capabilities. Additionally, we leverage knowledge distillation to compress the generated rationales into compact latent embeddings, which facilitate resource-efficient and plug-and-play integration into existing VLMs without retraining. To enable comprehensive evaluation, we introduce a new dataset named SSR-CoT, a million-scale visual-language reasoning dataset enriched with intermediate spatial reasoning annotations, and present SSRBench, a comprehensive multi-task benchmark. Extensive experiments on multiple benchmarks demonstrate SSR substantially improves depth utilization and enhances spatial reasoning, thereby advancing VLMs toward more human-like multi-modal understanding. Our project page is at https://yliu-cs.github.io/SSR.