CURV: 커리큘럼 시각적 근거 추론을 통한 차트 이해 향상

초록

차트 질문 응답(CQA)은 다중모달 대규모 언어 모델(MLLM)이 시각적 이해와 논리적 추론을 통합할 것을 요구하지만, 현재 모델은 정확한 시각적 근거 부여와 일관된 추론 사슬을 확보하는 데 어려움을 겪고 있다. 외재적 사고 사슬(chain-of-thought) 프롬프팅과 시각적 단서가 성능을 크게 향상시키지만, 현재 MLLM은 본질적인 시각적 근거 기반 추론 능력이 부족하여 시각적 증거와 분리된 부정확한 인식과 추론을 초래한다. 이러한 한계를 해결하기 위해 우리는 CQA를 다단계 시각적 근거 기반 추론으로 재정의하고, 각 단계가 공간 주의 집중을 통한 동적 시각적 근거 부여와 논리적 추론을 조정하는 커리큘럼 학습 프레임워크인 CURV를 제안한다. 모델 학습을 돕기 위해 우리는 다양한 차트 유형과 추론 패턴에 걸쳐 확장 가능한 합성 생성을 제공하는 3단계 커리큘럼 데이터셋인 CCQA를 추가로 도입한다. 우리의 커리큘럼은 기본적인 단일 연산 추론에서 복잡한 다중 차트 구성 작업으로 체계적으로 진행된다. 실험 결과 CURV는 기준선 대비 최대 20.50%의 향상을 달성하고, 실제 벤치마크(최대 12.30% 향상)와 도메인 외 다중모달 추론 작업(최대 10.20% 향상)에 일반화할 수 있음을 보여준다. 이는 동적 근거 부여를 통한 시각적 추론의 내면화가 차트 이해 능력 향상에 효과적임을 입증한다. 코드는 https://xhguo7.github.io/CURV/에서 확인할 수 있다.

English

Chart question answering (CQA) requires multimodal large language models (MLLMs) to integrate visual comprehension with logical reasoning, yet current models struggle with accurate visual grounding and coherent reasoning chains. While extrinsic chain-of-thought prompting and visual cues significantly improve performance, current MLLMs lack intrinsic visual grounded reasoning capabilities, leading to inaccurate perception and reasoning disconnected from visual evidence. To address these limitations, we propose CURV, a curriculum learning framework that develops intrinsic visual reasoning capabilities by reformulating CQA as multi-step visual grounded reasoning, where each step coordinates logical reasoning with dynamic visual grounding through spatial attention concentration. To assist model learning, we further introduce CCQA, a three-level curriculum dataset with scalable synthetic generation across diverse chart types and reasoning patterns. Our curriculum systematically progresses from basic single-operation reasoning to complex multi-chart compositional tasks. Experiments demonstrate that CURV achieves up to uparrow20.50% improvements over baselines and is generalizable to real-world benchmarks (up to uparrow12.30%) and out-of-domain multimodal reasoning tasks (up to uparrow10.20%), validating the effectiveness of internalizing visual reasoning with dynamic grounding for enhanced chart understanding capabilities. Code is available at: https://xhguo7.github.io/CURV/.