DeepPerception: Avanzamento della percezione visiva cognitiva di tipo R1 nei MLLM per il grounding visivo ad alta intensità di conoscenza

DeepPerception: Advancing R1-like Cognitive Visual Perception in MLLMs for Knowledge-Intensive Visual Grounding

March 17, 2025

Autori: Xinyu Ma, Ziyang Ding, Zhicong Luo, Chi Chen, Zonghao Guo, Derek F. Wong, Xiaoyi Feng, Maosong Sun

cs.AI

Abstract

Gli esperti umani eccellono nella discriminazione visiva fine grazie alla capacità di sfruttare la conoscenza del dominio per affinare le caratteristiche percettive, un'abilità che rimane sottosviluppata negli attuali Modelli Linguistici Multimodali di Grande Scala (MLLM). Nonostante possiedano una vasta conoscenza a livello esperto, gli MLLM faticano a integrare il ragionamento nella percezione visiva, spesso generando risposte dirette senza un'analisi più approfondita. Per colmare questa lacuna, introduciamo il knowledge-intensive visual grounding (KVG), un nuovo compito di grounding visivo che richiede sia una percezione fine sia l'integrazione di conoscenze specifiche del dominio. Per affrontare le sfide del KVG, proponiamo DeepPerception, un MLLM potenziato con capacità di percezione visiva cognitiva. Il nostro approccio consiste in (1) una pipeline di sintesi automatica dei dati che genera campioni di addestramento di alta qualità e allineati alla conoscenza, e (2) un framework di addestramento in due fasi che combina il fine-tuning supervisionato per l'impalcatura del ragionamento cognitivo e l'apprendimento per rinforzo per ottimizzare la sinergia percezione-cognizione. Per valutare le prestazioni, introduciamo KVG-Bench, un dataset completo che copre 10 domini con 1.3K casi di test curati manualmente. I risultati sperimentali dimostrano che DeepPerception supera significativamente il fine-tuning diretto, ottenendo miglioramenti di accuratezza del +8,08% su KVG-Bench e mostrando una generalizzazione cross-domain superiore del +4,60% rispetto agli approcci di base. Le nostre scoperte evidenziano l'importanza di integrare processi cognitivi negli MLLM per una percezione visiva simile a quella umana e aprono nuove direzioni per la ricerca sul ragionamento multimodale. I dati, i codici e i modelli sono rilasciati su https://github.com/thunlp/DeepPerception.

English

Human experts excel at fine-grained visual discrimination by leveraging domain knowledge to refine perceptual features, a capability that remains underdeveloped in current Multimodal Large Language Models (MLLMs). Despite possessing vast expert-level knowledge, MLLMs struggle to integrate reasoning into visual perception, often generating direct responses without deeper analysis. To bridge this gap, we introduce knowledge-intensive visual grounding (KVG), a novel visual grounding task that requires both fine-grained perception and domain-specific knowledge integration. To address the challenges of KVG, we propose DeepPerception, an MLLM enhanced with cognitive visual perception capabilities. Our approach consists of (1) an automated data synthesis pipeline that generates high-quality, knowledge-aligned training samples, and (2) a two-stage training framework combining supervised fine-tuning for cognitive reasoning scaffolding and reinforcement learning to optimize perception-cognition synergy. To benchmark performance, we introduce KVG-Bench a comprehensive dataset spanning 10 domains with 1.3K manually curated test cases. Experimental results demonstrate that DeepPerception significantly outperforms direct fine-tuning, achieving +8.08\% accuracy improvements on KVG-Bench and exhibiting +4.60\% superior cross-domain generalization over baseline approaches. Our findings highlight the importance of integrating cognitive processes into MLLMs for human-like visual perception and open new directions for multimodal reasoning research. The data, codes, and models are released at https://github.com/thunlp/DeepPerception.