CogFlow: 시각적 수학 문제 해결을 위한 지식 내재화를 통한 인지와 추론의 연결

초록

상당한 발전에도 불구하고, 멀티모달 대규모 언어 모델들은 여전히 시각적 수학 문제 해결에 어려움을 겪고 있습니다. 일부 최근 연구들은 시각 인식이 시각적 수학 추론의 병목 현상임을 인지하고 있으나, 그 해결책은 시각 입력의 추출 및 해석 능력 향상에만 국한되어 있습니다. 특히, 추출된 시각 단서가 후속 추론 과정에 충실히 통합되고 적절히 활용되는지 여부라는 핵심 문제를 모두 간과하고 있습니다. 이에 동기를 받아, 우리는 인간 추론의 계층적 흐름(지각 ⇒ 내면화 ⇒ 추론)을 명시적으로 모방하는 지식 내면화 단계를 포함한 새로운 인지 과학 기반 3단계 프레임워크인 CogFlow를 제안합니다. 이 계층적 흐름에 부합하도록 모든 단계를 종합적으로 향상시킵니다. 우리는 매개변수 공간과 의미 공간에서 인식 능력을 향상시키는 시너지 시각 보상 기법을 고안하여 기호와 도표로부터 시각 정보를 추출하는 능력을 공동으로 개선합니다. 추출된 시각 단서가 후속 추론에 충실히 통합되도록 보장하기 위해, 내면화 단계에서 지식 내면화 보상 모델을 도입하여 지각과 추론 간의 간극을 메웁니다. 더 나아가, 모델이 논리적으로 보이지만 시각적으로 근거 없는 추론 체인이라는 지름길을 찾는 것을 방지하고 추론이 시각적 지식에 기반하도록 하기 위해 시각-게이트 정책 최적화 알고리즘을 설계합니다. 또한, 12만 개 이상의 고품질 지각-추론 정렬 주석이 포함된 샘플을 갖춘 새로운 데이터셋 MathCog를 모델 학습을 위해 공개합니다. 널리 사용되는 시각적 수학 추론 벤치마크에 대한 포괄적인 실험과 분석을 통해 제안된 CogFlow의 우수성을 입증합니다.

English

Despite significant progress, multimodal large language models continue to struggle with visual mathematical problem solving. Some recent works recognize that visual perception is a bottleneck in visual mathematical reasoning, but their solutions are limited to improving the extraction and interpretation of visual inputs. Notably, they all ignore the key issue of whether the extracted visual cues are faithfully integrated and properly utilized in subsequent reasoning. Motivated by this, we present CogFlow, a novel cognitive-inspired three-stage framework that incorporates a knowledge internalization stage, explicitly simulating the hierarchical flow of human reasoning: perceptionRightarrowinternalizationRightarrowreasoning. Inline with this hierarchical flow, we holistically enhance all its stages. We devise Synergistic Visual Rewards to boost perception capabilities in parametric and semantic spaces, jointly improving visual information extraction from symbols and diagrams. To guarantee faithful integration of extracted visual cues into subsequent reasoning, we introduce a Knowledge Internalization Reward model in the internalization stage, bridging perception and reasoning. Moreover, we design a Visual-Gated Policy Optimization algorithm to further enforce the reasoning is grounded with the visual knowledge, preventing models seeking shortcuts that appear coherent but are visually ungrounded reasoning chains. Moreover, we contribute a new dataset MathCog for model training, which contains samples with over 120K high-quality perception-reasoning aligned annotations. Comprehensive experiments and analysis on commonly used visual mathematical reasoning benchmarks validate the superiority of the proposed CogFlow.

CogFlow: 시각적 수학 문제 해결을 위한 지식 내재화를 통한 인지와 추론의 연결

CogFlow: Bridging Perception and Reasoning through Knowledge Internalization for Visual Mathematical Problem Solving

초록

Support