DeepPerception : Progrès dans la perception visuelle cognitive de type R1 pour les MLLM dans l'ancrage visuel intensif en connaissances

DeepPerception: Advancing R1-like Cognitive Visual Perception in MLLMs for Knowledge-Intensive Visual Grounding

March 17, 2025

Auteurs: Xinyu Ma, Ziyang Ding, Zhicong Luo, Chi Chen, Zonghao Guo, Derek F. Wong, Xiaoyi Feng, Maosong Sun

cs.AI

Résumé

Les experts humains excellent dans la discrimination visuelle fine en exploitant des connaissances spécifiques pour affiner les caractéristiques perceptives, une capacité qui reste sous-développée dans les modèles de langage multimodaux à grande échelle (MLLMs) actuels. Bien qu'ils possèdent de vastes connaissances de niveau expert, les MLLMs peinent à intégrer le raisonnement dans la perception visuelle, générant souvent des réponses directes sans analyse approfondie. Pour combler cette lacune, nous introduisons l'ancrage visuel intensif en connaissances (KVG), une nouvelle tâche d'ancrage visuel qui nécessite à la fois une perception fine et l'intégration de connaissances spécifiques à un domaine. Pour relever les défis du KVG, nous proposons DeepPerception, un MLLM enrichi de capacités de perception visuelle cognitive. Notre approche comprend (1) un pipeline de synthèse automatisée de données qui génère des échantillons d'entraînement de haute qualité alignés sur les connaissances, et (2) un cadre d'entraînement en deux étapes combinant un réglage fin supervisé pour l'échafaudage du raisonnement cognitif et un apprentissage par renforcement pour optimiser la synergie perception-cognition. Pour évaluer les performances, nous introduisons KVG-Bench, un ensemble de données complet couvrant 10 domaines avec 1,3K cas de test soigneusement sélectionnés. Les résultats expérimentaux montrent que DeepPerception surpasse significativement le réglage fin direct, avec une amélioration de +8,08 % en précision sur KVG-Bench et une généralisation inter-domaines supérieure de +4,60 % par rapport aux approches de référence. Nos résultats soulignent l'importance d'intégrer des processus cognitifs dans les MLLMs pour une perception visuelle proche de celle des humains et ouvrent de nouvelles directions pour la recherche en raisonnement multimodal. Les données, codes et modèles sont disponibles à l'adresse https://github.com/thunlp/DeepPerception.

English

Human experts excel at fine-grained visual discrimination by leveraging domain knowledge to refine perceptual features, a capability that remains underdeveloped in current Multimodal Large Language Models (MLLMs). Despite possessing vast expert-level knowledge, MLLMs struggle to integrate reasoning into visual perception, often generating direct responses without deeper analysis. To bridge this gap, we introduce knowledge-intensive visual grounding (KVG), a novel visual grounding task that requires both fine-grained perception and domain-specific knowledge integration. To address the challenges of KVG, we propose DeepPerception, an MLLM enhanced with cognitive visual perception capabilities. Our approach consists of (1) an automated data synthesis pipeline that generates high-quality, knowledge-aligned training samples, and (2) a two-stage training framework combining supervised fine-tuning for cognitive reasoning scaffolding and reinforcement learning to optimize perception-cognition synergy. To benchmark performance, we introduce KVG-Bench a comprehensive dataset spanning 10 domains with 1.3K manually curated test cases. Experimental results demonstrate that DeepPerception significantly outperforms direct fine-tuning, achieving +8.08\% accuracy improvements on KVG-Bench and exhibiting +4.60\% superior cross-domain generalization over baseline approaches. Our findings highlight the importance of integrating cognitive processes into MLLMs for human-like visual perception and open new directions for multimodal reasoning research. The data, codes, and models are released at https://github.com/thunlp/DeepPerception.