CogFlow: Conectando Percepción y Razonamiento mediante la Internalización del Conocimiento para la Resolución Visual de Problemas Matemáticos

CogFlow: Bridging Perception and Reasoning through Knowledge Internalization for Visual Mathematical Problem Solving

January 5, 2026

Autores: Shuhang Chen, Yunqiu Xu, Junjie Xie, Aojun Lu, Tao Feng, Zeying Huang, Ning Zhang, Yi Sun, Yi Yang, Hangjie Yuan

cs.AI

Resumen

A pesar de los avances significativos, los modelos de lenguaje multimodal continúan teniendo dificultades con la resolución de problemas matemáticos visuales. Algunos trabajos recientes reconocen que la percepción visual es un cuello de botella en el razonamiento matemático visual, pero sus soluciones se limitan a mejorar la extracción e interpretación de las entradas visuales. Cabe destacar que todos ignoran el problema clave de si las pistas visuales extraídas se integran fielmente y se utilizan adecuadamente en el razonamiento posterior. Motivados por esto, presentamos CogFlow, un novedoso marco de tres etapas inspirado en la cognición que incorpora una etapa de internalización del conocimiento, simulando explícitamente el flujo jerárquico del razonamiento humano: percepción ⇒ internalización ⇒ razonamiento. En línea con este flujo jerárquico, mejoramos holísticamente todas sus etapas. Diseñamos Recompensas Visuales Sinérgicas para potenciar las capacidades de percepción en espacios paramétricos y semánticos, mejorando conjuntamente la extracción de información visual de símbolos y diagramas. Para garantizar una integración fiel de las pistas visuales extraídas en el razonamiento posterior, introducimos un modelo de Recompensa de Internalización del Conocimiento en la etapa de internalización, que sirve de puente entre la percepción y el razonamiento. Además, diseñamos un algoritmo de Optimización de Políticas con Compuerta Visual para hacer cumplir que el razonamiento se base en el conocimiento visual, impidiendo que los modelos busquen atajos que resulten en cadenas de razonamiento aparentemente coherentes pero visualmente infundadas. Asimismo, contribuimos con un nuevo conjunto de datos, MathCog, para el entrenamiento de modelos, que contiene muestras con más de 120K anotaciones de alta calidad alineadas entre percepción y razonamiento. Experimentos exhaustivos y análisis en benchmarks de razonamiento matemático visual de uso común validan la superioridad del CogFlow propuesto.

English

Despite significant progress, multimodal large language models continue to struggle with visual mathematical problem solving. Some recent works recognize that visual perception is a bottleneck in visual mathematical reasoning, but their solutions are limited to improving the extraction and interpretation of visual inputs. Notably, they all ignore the key issue of whether the extracted visual cues are faithfully integrated and properly utilized in subsequent reasoning. Motivated by this, we present CogFlow, a novel cognitive-inspired three-stage framework that incorporates a knowledge internalization stage, explicitly simulating the hierarchical flow of human reasoning: perceptionRightarrowinternalizationRightarrowreasoning. Inline with this hierarchical flow, we holistically enhance all its stages. We devise Synergistic Visual Rewards to boost perception capabilities in parametric and semantic spaces, jointly improving visual information extraction from symbols and diagrams. To guarantee faithful integration of extracted visual cues into subsequent reasoning, we introduce a Knowledge Internalization Reward model in the internalization stage, bridging perception and reasoning. Moreover, we design a Visual-Gated Policy Optimization algorithm to further enforce the reasoning is grounded with the visual knowledge, preventing models seeking shortcuts that appear coherent but are visually ungrounded reasoning chains. Moreover, we contribute a new dataset MathCog for model training, which contains samples with over 120K high-quality perception-reasoning aligned annotations. Comprehensive experiments and analysis on commonly used visual mathematical reasoning benchmarks validate the superiority of the proposed CogFlow.