CogFlow: 視覚的数学問題解決のための知識内化による知覚と推論の架け橋

CogFlow: Bridging Perception and Reasoning through Knowledge Internalization for Visual Mathematical Problem Solving

January 5, 2026

著者: Shuhang Chen, Yunqiu Xu, Junjie Xie, Aojun Lu, Tao Feng, Zeying Huang, Ning Zhang, Yi Sun, Yi Yang, Hangjie Yuan

cs.AI

要旨

顕著な進展にもかかわらず、マルチモーダル大規模言語モデルは視覚的数学問題解決において依然として困難に直面している。近年の研究では視覚的数学推論において知覚がボトルネックであると認識されているが、その解決策は視覚情報の抽出と解釈の改善に限定されている。特に、抽出された視覚的手がかりが後続の推論において忠実に統合され適切に利用されているかという核心的な課題が全て無視されている。この問題意識に動機づけられ、我々は新しい認知科学に着想を得た3段階フレームワーク「CogFlow」を提案する。本枠組みは知識内化段階を組み込み、人間の推論の階層的流れ（知覚⇒内化⇒推論）を明示的に模倣する。この階層的流れに沿って、我々は全段階を総合的に強化する。記号と図形からの視覚情報抽出を共同で改善するため、パラメトリック空間と意味空間における知覚能力を高める「協調的視覚報酬」を考案する。抽出された視覚的手がかりが推論に忠実に統合されることを保証するため、内化段階において知覚と推論を橋渡しする「知識内化報酬モデル」を導入する。さらに、視覚的に接地されていないように見えるが一貫性のある推論連鎖という近道をモデルが取ることを防止し、推論が視覚的知識に基づくことを強化する「視覚ゲート政策最適化アルゴリズム」を設計する。加えて、12万以上の高品質な知覚-推論整合アノテーションを含む新しいデータセットMathCogを構築し、モデル学習に貢献する。一般的に使用される視覚的数学推論ベンチマークにおける総合的な実験と分析により、提案するCogFlowの優位性が実証された。

English

Despite significant progress, multimodal large language models continue to struggle with visual mathematical problem solving. Some recent works recognize that visual perception is a bottleneck in visual mathematical reasoning, but their solutions are limited to improving the extraction and interpretation of visual inputs. Notably, they all ignore the key issue of whether the extracted visual cues are faithfully integrated and properly utilized in subsequent reasoning. Motivated by this, we present CogFlow, a novel cognitive-inspired three-stage framework that incorporates a knowledge internalization stage, explicitly simulating the hierarchical flow of human reasoning: perceptionRightarrowinternalizationRightarrowreasoning. Inline with this hierarchical flow, we holistically enhance all its stages. We devise Synergistic Visual Rewards to boost perception capabilities in parametric and semantic spaces, jointly improving visual information extraction from symbols and diagrams. To guarantee faithful integration of extracted visual cues into subsequent reasoning, we introduce a Knowledge Internalization Reward model in the internalization stage, bridging perception and reasoning. Moreover, we design a Visual-Gated Policy Optimization algorithm to further enforce the reasoning is grounded with the visual knowledge, preventing models seeking shortcuts that appear coherent but are visually ungrounded reasoning chains. Moreover, we contribute a new dataset MathCog for model training, which contains samples with over 120K high-quality perception-reasoning aligned annotations. Comprehensive experiments and analysis on commonly used visual mathematical reasoning benchmarks validate the superiority of the proposed CogFlow.