CogFlow: Overbrugging van Waarneming en Redenering door Kennisinternalisatie voor Visueel Wiskundig Probleemoplossen

CogFlow: Bridging Perception and Reasoning through Knowledge Internalization for Visual Mathematical Problem Solving

January 5, 2026

Auteurs: Shuhang Chen, Yunqiu Xu, Junjie Xie, Aojun Lu, Tao Feng, Zeying Huang, Ning Zhang, Yi Sun, Yi Yang, Hangjie Yuan

cs.AI

Samenvatting

Ondanks aanzienlijke vooruitgang worstelen multimodale grote taalmodellen nog steeds met visueel wiskundig probleemoplossen. Sommige recente werken erkennen dat visuele perceptie een knelpunt vormt bij visueel wiskundig redeneren, maar hun oplossingen beperken zich tot het verbeteren van de extractie en interpretatie van visuele invoer. Opmerkelijk genoeg negeren zij allemaal het kernprobleem van of de geëxtraheerde visuele aanwijzingen getrouw worden geïntegreerd en correct worden benut in het daaropvolgende redeneerproces. Gemotiveerd door dit inzicht presenteren we CogFlow, een nieuw cognitief geïnspireerd driefasenraamwerk dat een kennisinternalisatiefase incorporeert en expliciet de hiërarchische stroom van menselijk redeneren simuleert: perceptie ⇒ internalisatie ⇒ redeneren. In lijn met deze hiërarchische stroom verbeteren we al zijn fasen holistisch. We ontwikkelen Synergistische Visuele Beloningen om de perceptiecapaciteiten in parametrische en semantische ruimten te stimuleren, waardoor de extractie van visuele informatie uit symbolen en diagrammen gezamenlijk verbetert. Om een getrouwe integratie van geëxtraheerde visuele aanwijzingen in het daaropvolgende redeneren te garanderen, introduceren we een Kennisinternalisatie-Beloningsmodel in de internalisatiefase, dat een brug slaat tussen perceptie en redeneren. Bovendien ontwerpen we een Visueel-Gestuurd Beleidsoptimalisatie-algoritme om verder af te dwingen dat het redeneren is verankerd in de visuele kennis, waardoor wordt voorkomen dat modellen naar kortsluitroutes zoeken die coherent lijken maar visueel ongegronde redeneerketens zijn. Verder dragen we een nieuwe dataset MathCog bij voor modeltraining, die voorbeelden bevat met meer dan 120K hoogwaardige, op perceptie-redenering afgestemde annotaties. Uitgebreide experimenten en analyses op veelgebruikte benchmarks voor visueel wiskundig redeneren valideren de superioriteit van de voorgestelde CogFlow.

English

Despite significant progress, multimodal large language models continue to struggle with visual mathematical problem solving. Some recent works recognize that visual perception is a bottleneck in visual mathematical reasoning, but their solutions are limited to improving the extraction and interpretation of visual inputs. Notably, they all ignore the key issue of whether the extracted visual cues are faithfully integrated and properly utilized in subsequent reasoning. Motivated by this, we present CogFlow, a novel cognitive-inspired three-stage framework that incorporates a knowledge internalization stage, explicitly simulating the hierarchical flow of human reasoning: perceptionRightarrowinternalizationRightarrowreasoning. Inline with this hierarchical flow, we holistically enhance all its stages. We devise Synergistic Visual Rewards to boost perception capabilities in parametric and semantic spaces, jointly improving visual information extraction from symbols and diagrams. To guarantee faithful integration of extracted visual cues into subsequent reasoning, we introduce a Knowledge Internalization Reward model in the internalization stage, bridging perception and reasoning. Moreover, we design a Visual-Gated Policy Optimization algorithm to further enforce the reasoning is grounded with the visual knowledge, preventing models seeking shortcuts that appear coherent but are visually ungrounded reasoning chains. Moreover, we contribute a new dataset MathCog for model training, which contains samples with over 120K high-quality perception-reasoning aligned annotations. Comprehensive experiments and analysis on commonly used visual mathematical reasoning benchmarks validate the superiority of the proposed CogFlow.