DeepPerception: Verbetering van R1-achtige Cognitieve Visuele Waarneming in MLLMs voor Kennisintensieve Visuele Verankering

DeepPerception: Advancing R1-like Cognitive Visual Perception in MLLMs for Knowledge-Intensive Visual Grounding

March 17, 2025

Auteurs: Xinyu Ma, Ziyang Ding, Zhicong Luo, Chi Chen, Zonghao Guo, Derek F. Wong, Xiaoyi Feng, Maosong Sun

cs.AI

Samenvatting

Menselijke experts blinken uit in fijnmazige visuele discriminatie door domeinkennis te gebruiken om waarnemingskenmerken te verfijnen, een vaardigheid die nog onderontwikkeld is in huidige Multimodale Grote Taalmodellen (MLLMs). Ondanks het bezit van uitgebreide expertniveau kennis, hebben MLLMs moeite om redenering te integreren in visuele waarneming, waarbij ze vaak directe reacties genereren zonder diepgaande analyse. Om deze kloof te overbruggen, introduceren we kennisintensieve visuele verankering (KVG), een nieuwe visuele verankerings taak die zowel fijnmazige waarneming als integratie van domeinspecifieke kennis vereist. Om de uitdagingen van KVG aan te pakken, stellen we DeepPerception voor, een MLLM versterkt met cognitieve visuele waarnemingscapaciteiten. Onze aanpak bestaat uit (1) een geautomatiseerde datasynthesepijplijn die hoogwaardige, kennisafgestemde trainingsmonsters genereert, en (2) een tweefasen trainingsraamwerk dat supervised fine-tuning combineert voor cognitieve redeneringsondersteuning en reinforcement learning om de synergie tussen waarneming en cognitie te optimaliseren. Om de prestaties te benchmarken, introduceren we KVG-Bench, een uitgebreide dataset die 10 domeinen omvat met 1.3K handmatig samengestelde testgevallen. Experimentele resultaten tonen aan dat DeepPerception aanzienlijk beter presteert dan directe fine-tuning, met +8.08% nauwkeurigheidsverbeteringen op KVG-Bench en een +4.60% betere cross-domein generalisatie ten opzichte van baseline benaderingen. Onze bevindingen benadrukken het belang van het integreren van cognitieve processen in MLLMs voor mensachtige visuele waarneming en openen nieuwe richtingen voor onderzoek naar multimodale redenering. De data, codes en modellen zijn vrijgegeven op https://github.com/thunlp/DeepPerception.

English

Human experts excel at fine-grained visual discrimination by leveraging domain knowledge to refine perceptual features, a capability that remains underdeveloped in current Multimodal Large Language Models (MLLMs). Despite possessing vast expert-level knowledge, MLLMs struggle to integrate reasoning into visual perception, often generating direct responses without deeper analysis. To bridge this gap, we introduce knowledge-intensive visual grounding (KVG), a novel visual grounding task that requires both fine-grained perception and domain-specific knowledge integration. To address the challenges of KVG, we propose DeepPerception, an MLLM enhanced with cognitive visual perception capabilities. Our approach consists of (1) an automated data synthesis pipeline that generates high-quality, knowledge-aligned training samples, and (2) a two-stage training framework combining supervised fine-tuning for cognitive reasoning scaffolding and reinforcement learning to optimize perception-cognition synergy. To benchmark performance, we introduce KVG-Bench a comprehensive dataset spanning 10 domains with 1.3K manually curated test cases. Experimental results demonstrate that DeepPerception significantly outperforms direct fine-tuning, achieving +8.08\% accuracy improvements on KVG-Bench and exhibiting +4.60\% superior cross-domain generalization over baseline approaches. Our findings highlight the importance of integrating cognitive processes into MLLMs for human-like visual perception and open new directions for multimodal reasoning research. The data, codes, and models are released at https://github.com/thunlp/DeepPerception.