視覚と言語モデルの視覚的知覚と推論能力を向上させるためのエージェンシック・ジグソー相互作用学習

要旨

現在の大規模な視覚言語モデル（VLMs）は、マルチモーダル理解と推論において進歩を遂げているものの、その基本的な知覚および推論能力は依然として限定的である。具体的には、単純なジグソータスクにおいても、既存のVLMsはほぼランダムな性能を示し、中核的な知覚と推論能力の欠陥を明らかにしている。高品質の視覚言語データはこれらの能力を向上させることができるが、その希少性とスケーラビリティの限界が大きな制約となっている。この問題に対処するため、我々はAGILE（Agentic jiGsaw Interaction Learning）を提案し、VLMsにおける視覚知覚と推論能力を強化する。AGILEはジグソー解決をインタラクティブなプロセスとして定式化し、モデルが環境と段階的に関与できるようにする。各ステップで、モデルは現在の状態に基づいて実行可能なコードを生成し、環境はタスク完了を導くための詳細な視覚的フィードバックを提供する。この観察とインタラクションの反復サイクルを通じて、モデルは探索とフィードバックにより知覚と推論能力を徐々に向上させる。実験結果は、AGILEが様々な複雑さのジグソータスクにおいて性能を大幅に向上させる（例えば、2×2設定で精度を9.5%から82.8%に向上）だけでなく、9つの一般的な視覚タスクにおいても強い汎化能力を示し、平均3.1%の改善を達成することを示している。これらの結果は、知覚と推論能力の両方において顕著な向上を示している。本研究は、マルチモーダルモデルにおける推論と汎化を進めるための新たな道を開き、マルチモーダル強化学習データの希少性に対する効率的でスケーラブルな解決策を提供する。コードとデータセットはhttps://github.com/yuzeng0-0/AGILEで公開されている。

English

Although current large Vision-Language Models (VLMs) have advanced in multimodal understanding and reasoning, their fundamental perceptual and reasoning abilities remain limited. Specifically, even on simple jigsaw tasks, existing VLMs perform near randomly, revealing deficiencies in core perception and reasoning capabilities. While high-quality vision-language data can enhance these capabilities, its scarcity and limited scalability impose significant constraints. To address this, we propose AGILE, an Agentic jiGsaw Interaction Learning for Enhancing visual perception and reasoning in VLMs. AGILE formulates jigsaw solving as an interactive process, enabling the model to progressively engage with the environment. At each step, the model generates executable code to perform an action based on the current state, while the environment provides fine-grained visual feedback to guide task completion. Through this iterative cycle of observation and interaction, the model incrementally improves its perceptual and reasoning capabilities via exploration and feedback. Experimental results show that AGILE not only substantially boosts performance on jigsaw tasks of varying complexity (e.g., increasing accuracy from 9.5% to 82.8% under the 2 times 2 setting) but also demonstrates strong generalization across 9 general vision tasks, achieving an average improvement of 3.1%. These results indicate notable enhancements in both perceptual and reasoning abilities. This work opens a new avenue for advancing reasoning and generalization in multimodal models and provides an efficient, scalable solution to the scarcity of multimodal reinforcement learning data. The code and datasets is available at https://github.com/yuzeng0-0/AGILE .

視覚と言語モデルの視覚的知覚と推論能力を向上させるためのエージェンシック・ジグソー相互作用学習

Agentic Jigsaw Interaction Learning for Enhancing Visual Perception and Reasoning in Vision-Language Models

要旨

Support