CogFlow : Relier la perception et le raisonnement par l'internalisation des connaissances pour la résolution de problèmes mathématiques visuels

CogFlow: Bridging Perception and Reasoning through Knowledge Internalization for Visual Mathematical Problem Solving

January 5, 2026

papers.authors: Shuhang Chen, Yunqiu Xu, Junjie Xie, Aojun Lu, Tao Feng, Zeying Huang, Ning Zhang, Yi Sun, Yi Yang, Hangjie Yuan

cs.AI

papers.abstract

Malgré des progrès significatifs, les grands modèles de langage multimodaux continuent de rencontrer des difficultés dans la résolution de problèmes mathématiques visuels. Certains travaux récents reconnaissent que la perception visuelle constitue un goulot d'étranglement dans le raisonnement mathématique visuel, mais leurs solutions se limitent à améliorer l'extraction et l'interprétation des entrées visuelles. Fait notable, ils ignorent tous la question cruciale de savoir si les indices visuels extraits sont fidèlement intégrés et correctement utilisés dans le raisonnement ultérieur. Motivés par ce constat, nous présentons CogFlow, un nouveau cadre cognitif inspiré en trois étapes qui intègre une phase d'intériorisation des connaissances, simulant explicitement le flux hiérarchique du raisonnement humain : perception ⇒ intériorisation ⇒ raisonnement. Conformément à ce flux hiérarchique, nous améliorons de manière holistique toutes ses étapes. Nous concevons des Récompenses Visuelles Synergétiques pour renforcer les capacités de perception dans les espaces paramétriques et sémantiques, améliorant conjointement l'extraction d'informations visuelles à partir de symboles et de diagrammes. Pour garantir une intégration fidèle des indices visuels extraits dans le raisonnement ultérieur, nous introduisons un modèle de Récompense d'Intériorisation des Connaissances lors de l'étape d'intériorisation, faisant le lien entre la perception et le raisonnement. De plus, nous concevons un algorithme d'Optimisation de Politique à Porte Visuelle pour contraindre davantage le raisonnement à s'appuyer sur les connaissances visuelles, empêchant les modèles de rechercher des raccourcis sous forme de chaînes de raisonnement qui semblent cohérentes mais ne sont pas ancrées visuellement. Par ailleurs, nous contribuons avec un nouveau jeu de données, MathCog, pour l'entraînement des modèles, qui contient des échantillons avec plus de 120 000 annotations de haute qualité alignant la perception et le raisonnement. Des expériences et analyses approfondies sur des benchmarks de raisonnement mathématique visuel couramment utilisés valident la supériorité de CogFlow proposé.

English

Despite significant progress, multimodal large language models continue to struggle with visual mathematical problem solving. Some recent works recognize that visual perception is a bottleneck in visual mathematical reasoning, but their solutions are limited to improving the extraction and interpretation of visual inputs. Notably, they all ignore the key issue of whether the extracted visual cues are faithfully integrated and properly utilized in subsequent reasoning. Motivated by this, we present CogFlow, a novel cognitive-inspired three-stage framework that incorporates a knowledge internalization stage, explicitly simulating the hierarchical flow of human reasoning: perceptionRightarrowinternalizationRightarrowreasoning. Inline with this hierarchical flow, we holistically enhance all its stages. We devise Synergistic Visual Rewards to boost perception capabilities in parametric and semantic spaces, jointly improving visual information extraction from symbols and diagrams. To guarantee faithful integration of extracted visual cues into subsequent reasoning, we introduce a Knowledge Internalization Reward model in the internalization stage, bridging perception and reasoning. Moreover, we design a Visual-Gated Policy Optimization algorithm to further enforce the reasoning is grounded with the visual knowledge, preventing models seeking shortcuts that appear coherent but are visually ungrounded reasoning chains. Moreover, we contribute a new dataset MathCog for model training, which contains samples with over 120K high-quality perception-reasoning aligned annotations. Comprehensive experiments and analysis on commonly used visual mathematical reasoning benchmarks validate the superiority of the proposed CogFlow.