Rede de Fluxo Perceptual para Raciocínio Baseado em Visão

Resumo

Apesar do sucesso dos Modelos de Linguagem de Grande Visão (LVLMs), os objetivos de otimização gerais (por exemplo, MLE padrão) falham em restringir trajetórias visuais, levando a viés linguístico e alucinação. Para mitigar isso, os métodos atuais introduzem *priors* geométricos de especialistas visuais como supervisão adicional. No entanto, observamos que tal supervisão é tipicamente subótima: ela é tendenciosa em direção à precisão geométrica e oferece utilidade de raciocínio limitada. Para preencher essa lacuna, propomos a Perceptual Flow Network (PFlowNet), que evita o alinhamento rígido com os *priors* do especialista e alcança um raciocínio visual interpretável e mais eficaz. Especificamente, a PFlowNet desacopla a perceção do raciocínio para estabelecer um processo de geração auto-condicionado. Com base nisso, integra recompensas multidimensionais com modelação geométrica vicinal via aprendizagem por reforço variacional, facilitando assim comportamentos perceptivos orientados para o raciocínio, enquanto preserva a confiabilidade visual. A PFlowNet oferece uma garantia de desempenho demonstrável e resultados empíricos competitivos, estabelecendo particularmente novos recordes SOTA no V* Bench (90,6%) e no MME-RealWorld-lite (67,0%).

English

Despite the success of Large-Vision Language Models (LVLMs), general optimization objectives (e.g., standard MLE) fail to constrain visual trajectories, leading to language bias and hallucination. To mitigate this, current methods introduce geometric priors from visual experts as additional supervision. However, we observe that such supervision is typically suboptimal: it is biased toward geometric precision and offers limited reasoning utility. To bridge this gap, we propose Perceptual Flow Network (PFlowNet), which eschews rigid alignment with the expert priors and achieves interpretable yet more effective visual reasoning. Specifically, PFlowNet decouples perception from reasoning to establish a self-conditioned generation process. Based on this, it integrates multi-dimensional rewards with vicinal geometric shaping via variational reinforcement learning, thereby facilitating reasoning-oriented perceptual behaviors while preserving visual reliability. PFlowNet delivers a provable performance guarantee and competitive empirical results, particularly setting new SOTA records on V* Bench (90.6%) and MME-RealWorld-lite (67.0%).