DeepPerception: Avançando a Percepção Visual Cognitiva do Tipo R1 em MLLMs para Fundamentação Visual Intensiva em Conhecimento

DeepPerception: Advancing R1-like Cognitive Visual Perception in MLLMs for Knowledge-Intensive Visual Grounding

March 17, 2025

Autores: Xinyu Ma, Ziyang Ding, Zhicong Luo, Chi Chen, Zonghao Guo, Derek F. Wong, Xiaoyi Feng, Maosong Sun

cs.AI

Resumo

Especialistas humanos se destacam na discriminação visual refinada ao aproveitar o conhecimento de domínio para aprimorar características perceptivas, uma capacidade que permanece subdesenvolvida nos atuais Modelos de Linguagem Multimodal de Grande Escala (MLLMs). Apesar de possuírem vasto conhecimento em nível de especialista, os MLLMs lutam para integrar o raciocínio à percepção visual, frequentemente gerando respostas diretas sem uma análise mais profunda. Para preencher essa lacuna, introduzimos o conhecimento intensivo de fundamentação visual (KVG), uma nova tarefa de fundamentação visual que requer tanto percepção refinada quanto a integração de conhecimento específico do domínio. Para abordar os desafios do KVG, propomos o DeepPerception, um MLLM aprimorado com capacidades de percepção visual cognitiva. Nossa abordagem consiste em (1) um pipeline de síntese de dados automatizado que gera amostras de treinamento de alta qualidade e alinhadas ao conhecimento, e (2) um framework de treinamento em duas etapas que combina ajuste fino supervisionado para estruturar o raciocínio cognitivo e aprendizado por reforço para otimizar a sinergia percepção-cognição. Para avaliar o desempenho, introduzimos o KVG-Bench, um conjunto de dados abrangente que abrange 10 domínios com 1,3 mil casos de teste curados manualmente. Os resultados experimentais demonstram que o DeepPerception supera significativamente o ajuste fino direto, alcançando melhorias de +8,08% em precisão no KVG-Bench e exibindo uma generalização cruzada de domínio +4,60% superior em relação às abordagens de linha de base. Nossas descobertas destacam a importância de integrar processos cognitivos nos MLLMs para uma percepção visual semelhante à humana e abrem novas direções para a pesquisa em raciocínio multimodal. Os dados, códigos e modelos são disponibilizados em https://github.com/thunlp/DeepPerception.

English

Human experts excel at fine-grained visual discrimination by leveraging domain knowledge to refine perceptual features, a capability that remains underdeveloped in current Multimodal Large Language Models (MLLMs). Despite possessing vast expert-level knowledge, MLLMs struggle to integrate reasoning into visual perception, often generating direct responses without deeper analysis. To bridge this gap, we introduce knowledge-intensive visual grounding (KVG), a novel visual grounding task that requires both fine-grained perception and domain-specific knowledge integration. To address the challenges of KVG, we propose DeepPerception, an MLLM enhanced with cognitive visual perception capabilities. Our approach consists of (1) an automated data synthesis pipeline that generates high-quality, knowledge-aligned training samples, and (2) a two-stage training framework combining supervised fine-tuning for cognitive reasoning scaffolding and reinforcement learning to optimize perception-cognition synergy. To benchmark performance, we introduce KVG-Bench a comprehensive dataset spanning 10 domains with 1.3K manually curated test cases. Experimental results demonstrate that DeepPerception significantly outperforms direct fine-tuning, achieving +8.08\% accuracy improvements on KVG-Bench and exhibiting +4.60\% superior cross-domain generalization over baseline approaches. Our findings highlight the importance of integrating cognitive processes into MLLMs for human-like visual perception and open new directions for multimodal reasoning research. The data, codes, and models are released at https://github.com/thunlp/DeepPerception.