CURV: カリキュラム視覚的接地推論によるチャート理解の向上

要旨

グラフ質問応答（CQA）では、マルチモーダル大規模言語モデル（MLLM）が視覚的理解と論理的推論を統合することが求められるが、現在のモデルは正確な視覚的グラウンディングと一貫性のある推論チェーンの実現に課題を抱えている。外的なチェーン・オブ・ソートプロンプティングや視覚的手がかりは性能を大幅に向上させるものの、現在のMLLMは内在的な視覚的グラウンディングに基づく推論能力を欠いており、その結果、不正確な認識と視覚的証拠から切り離された推論が生じる。これらの限界に対処するため、我々はCURVを提案する。これは、CQAを多段階の視覚的グラウンディングに基づく推論として再構成し、各段階で空間的注意の集中を通じて論理的推論と動的な視覚的グラウンディングを調整することにより、内在的な視覚的推論能力を育成するカリキュラム学習フレームワークである。モデルの学習を支援するため、さらにCCQAを導入する。これは、多様なグラフタイプと推論パターンにわたるスケーラブルな合成生成を備えた3段階のカリキュラムデータセットである。我々のカリキュラムは、基本的な単一操作の推論から複雑な複数グラフの合成的タスクへと体系的に進行する。実験により、CURVはベースラインに対して最大20.50%の向上を達成し、実世界のベンチマーク（最大12.30%）やドメイン外のマルチモーダル推論タスク（最大10.20%）にも汎化できることが示され、動的なグラウンディングを用いた視覚的推論の内面化がグラフ理解能力の向上に有効であることが検証された。コードは https://xhguo7.github.io/CURV/ で公開している。

English

Chart question answering (CQA) requires multimodal large language models (MLLMs) to integrate visual comprehension with logical reasoning, yet current models struggle with accurate visual grounding and coherent reasoning chains. While extrinsic chain-of-thought prompting and visual cues significantly improve performance, current MLLMs lack intrinsic visual grounded reasoning capabilities, leading to inaccurate perception and reasoning disconnected from visual evidence. To address these limitations, we propose CURV, a curriculum learning framework that develops intrinsic visual reasoning capabilities by reformulating CQA as multi-step visual grounded reasoning, where each step coordinates logical reasoning with dynamic visual grounding through spatial attention concentration. To assist model learning, we further introduce CCQA, a three-level curriculum dataset with scalable synthetic generation across diverse chart types and reasoning patterns. Our curriculum systematically progresses from basic single-operation reasoning to complex multi-chart compositional tasks. Experiments demonstrate that CURV achieves up to uparrow20.50% improvements over baselines and is generalizable to real-world benchmarks (up to uparrow12.30%) and out-of-domain multimodal reasoning tasks (up to uparrow10.20%), validating the effectiveness of internalizing visual reasoning with dynamic grounding for enhanced chart understanding capabilities. Code is available at: https://xhguo7.github.io/CURV/.