DeepPerception: Развитие R1-подобного когнитивного визуального восприятия в MLLM для задач визуального заземления, требующих глубоких знаний

DeepPerception: Advancing R1-like Cognitive Visual Perception in MLLMs for Knowledge-Intensive Visual Grounding

March 17, 2025

Авторы: Xinyu Ma, Ziyang Ding, Zhicong Luo, Chi Chen, Zonghao Guo, Derek F. Wong, Xiaoyi Feng, Maosong Sun

cs.AI

Аннотация

Человеческие эксперты преуспевают в тонкой визуальной дискриминации, используя предметные знания для уточнения перцептивных признаков — способность, которая остается недостаточно развитой в современных мультимодальных больших языковых моделях (MLLMs). Несмотря на обладание обширными экспертно-уровневыми знаниями, MLLMs испытывают трудности с интеграцией рассуждений в визуальное восприятие, часто генерируя прямые ответы без глубокого анализа. Чтобы устранить этот разрыв, мы представляем задачу визуального заземления, требующую интенсивного использования знаний (KVG), которая требует как тонкого восприятия, так и интеграции предметных знаний. Для решения задач KVG мы предлагаем DeepPerception — MLLM, усиленную возможностями когнитивного визуального восприятия. Наш подход включает (1) автоматизированный конвейер синтеза данных, который генерирует высококачественные обучающие выборки, согласованные с знаниями, и (2) двухэтапную структуру обучения, сочетающую контролируемое тонкое настройку для формирования когнитивных рассуждений и обучение с подкреплением для оптимизации синергии восприятия и познания. Для оценки производительности мы представляем KVG-Bench — всеобъемлющий набор данных, охватывающий 10 областей с 1,3 тыс. вручную отобранных тестовых случаев. Экспериментальные результаты показывают, что DeepPerception значительно превосходит прямое тонкое настройку, достигая улучшения точности на +8,08% на KVG-Bench и демонстрируя +4,60% превосходства в кросс-доменной генерализации по сравнению с базовыми подходами. Наши результаты подчеркивают важность интеграции когнитивных процессов в MLLMs для человеко-подобного визуального восприятия и открывают новые направления для исследований в области мультимодального рассуждения. Данные, коды и модели доступны по адресу https://github.com/thunlp/DeepPerception.

English

Human experts excel at fine-grained visual discrimination by leveraging domain knowledge to refine perceptual features, a capability that remains underdeveloped in current Multimodal Large Language Models (MLLMs). Despite possessing vast expert-level knowledge, MLLMs struggle to integrate reasoning into visual perception, often generating direct responses without deeper analysis. To bridge this gap, we introduce knowledge-intensive visual grounding (KVG), a novel visual grounding task that requires both fine-grained perception and domain-specific knowledge integration. To address the challenges of KVG, we propose DeepPerception, an MLLM enhanced with cognitive visual perception capabilities. Our approach consists of (1) an automated data synthesis pipeline that generates high-quality, knowledge-aligned training samples, and (2) a two-stage training framework combining supervised fine-tuning for cognitive reasoning scaffolding and reinforcement learning to optimize perception-cognition synergy. To benchmark performance, we introduce KVG-Bench a comprehensive dataset spanning 10 domains with 1.3K manually curated test cases. Experimental results demonstrate that DeepPerception significantly outperforms direct fine-tuning, achieving +8.08\% accuracy improvements on KVG-Bench and exhibiting +4.60\% superior cross-domain generalization over baseline approaches. Our findings highlight the importance of integrating cognitive processes into MLLMs for human-like visual perception and open new directions for multimodal reasoning research. The data, codes, and models are released at https://github.com/thunlp/DeepPerception.