CogFlow: Объединение восприятия и рассуждений посредством интернализации знаний для решения визуальных математических задач

CogFlow: Bridging Perception and Reasoning through Knowledge Internalization for Visual Mathematical Problem Solving

January 5, 2026

Авторы: Shuhang Chen, Yunqiu Xu, Junjie Xie, Aojun Lu, Tao Feng, Zeying Huang, Ning Zhang, Yi Sun, Yi Yang, Hangjie Yuan

cs.AI

Аннотация

Несмотря на значительный прогресс, мультимодальные большие языковые модели продолжают испытывать трудности с решением визуальных математических задач. Некоторые недавние работы признают, что визуальное восприятие является узким местом в визуальном математическом рассуждении, но их решения ограничиваются улучшением извлечения и интерпретации визуальных данных. Примечательно, что все они игнорируют ключевую проблему: действительно ли извлеченные визуальные признаки достоверно интегрируются и правильно используются в последующих рассуждениях. Мотивированные этим, мы представляем CogFlow — новую когнитивно-вдохновленную трехэтапную структуру, которая включает этап интернализации знаний, явно моделируя иерархический поток человеческого рассуждения: восприятие ⇒ интернализация ⇒ рассуждение. В соответствии с этим иерархическим потоком мы комплексно улучшаем все его этапы. Мы разрабатываем Синергетические Визуальные Вознаграждения для повышения возможностей восприятия в параметрическом и семантическом пространствах, совместно улучшая извлечение визуальной информации из символов и диаграмм. Чтобы гарантировать достоверную интеграцию извлеченных визуальных признаков в последующие рассуждения, мы вводим модель Вознаграждения за Интернализацию Знаний на этапе интернализации, соединяя восприятие и рассуждение. Кроме того, мы разрабатываем алгоритм Визуально-Управляемой Политики Оптимизации, чтобы дополнительно обеспечить обоснованность рассуждений визуальными знаниями, предотвращая поиск моделями ярлыков в виде правдоподобных, но визуально необоснованных цепочек рассуждений. Кроме того, мы представляем новый набор данных MathCog для обучения моделей, который содержит образцы с более чем 120 тыс. высококачественных аннотаций, согласованных между восприятием и рассуждением. Комплексные эксперименты и анализ на общепринятых эталонах визуального математического рассуждения подтверждают превосходство предложенного CogFlow.

English

Despite significant progress, multimodal large language models continue to struggle with visual mathematical problem solving. Some recent works recognize that visual perception is a bottleneck in visual mathematical reasoning, but their solutions are limited to improving the extraction and interpretation of visual inputs. Notably, they all ignore the key issue of whether the extracted visual cues are faithfully integrated and properly utilized in subsequent reasoning. Motivated by this, we present CogFlow, a novel cognitive-inspired three-stage framework that incorporates a knowledge internalization stage, explicitly simulating the hierarchical flow of human reasoning: perceptionRightarrowinternalizationRightarrowreasoning. Inline with this hierarchical flow, we holistically enhance all its stages. We devise Synergistic Visual Rewards to boost perception capabilities in parametric and semantic spaces, jointly improving visual information extraction from symbols and diagrams. To guarantee faithful integration of extracted visual cues into subsequent reasoning, we introduce a Knowledge Internalization Reward model in the internalization stage, bridging perception and reasoning. Moreover, we design a Visual-Gated Policy Optimization algorithm to further enforce the reasoning is grounded with the visual knowledge, preventing models seeking shortcuts that appear coherent but are visually ungrounded reasoning chains. Moreover, we contribute a new dataset MathCog for model training, which contains samples with over 120K high-quality perception-reasoning aligned annotations. Comprehensive experiments and analysis on commonly used visual mathematical reasoning benchmarks validate the superiority of the proposed CogFlow.