Apprentissage par Interaction Agentique en Puzzle pour Améliorer la Perception Visuelle et le Raisonnement dans les Modèles Vision-Langage

Agentic Jigsaw Interaction Learning for Enhancing Visual Perception and Reasoning in Vision-Language Models

October 1, 2025

papers.authors: Yu Zeng, Wenxuan Huang, Shiting Huang, Xikun Bao, Yukun Qi, Yiming Zhao, Qiuchen Wang, Lin Chen, Zehui Chen, Huaian Chen, Wanli Ouyang, Feng Zhao

cs.AI

papers.abstract

Bien que les modèles actuels de vision et langage (VLMs) aient progressé dans la compréhension et le raisonnement multimodaux, leurs capacités fondamentales de perception et de raisonnement restent limitées. Plus précisément, même sur des tâches simples de puzzle, les VLMs existants performent de manière quasi aléatoire, révélant des lacunes dans leurs capacités de perception et de raisonnement. Bien que des données de haute qualité en vision et langage puissent améliorer ces capacités, leur rareté et leur évolutivité limitée imposent des contraintes significatives. Pour remédier à cela, nous proposons AGILE, un Apprentissage Interactif de Puzzle Agentique pour Améliorer la perception visuelle et le raisonnement dans les VLMs. AGILE formule la résolution de puzzle comme un processus interactif, permettant au modèle de s'engager progressivement avec l'environnement. À chaque étape, le modèle génère un code exécutable pour effectuer une action basée sur l'état actuel, tandis que l'environnement fournit un retour visuel détaillé pour guider l'accomplissement de la tâche. Grâce à ce cycle itératif d'observation et d'interaction, le modèle améliore progressivement ses capacités de perception et de raisonnement via l'exploration et le retour d'information. Les résultats expérimentaux montrent qu'AGILE non seulement améliore considérablement les performances sur des tâches de puzzle de complexité variable (par exemple, en augmentant la précision de 9,5 % à 82,8 % dans le cadre d'un puzzle 2 fois 2), mais démontre également une forte généralisation sur 9 tâches de vision générale, avec une amélioration moyenne de 3,1 %. Ces résultats indiquent des améliorations notables à la fois dans les capacités de perception et de raisonnement. Ce travail ouvre une nouvelle voie pour faire progresser le raisonnement et la généralisation dans les modèles multimodaux et fournit une solution efficace et évolutive à la rareté des données d'apprentissage par renforcement multimodal. Le code et les ensembles de données sont disponibles à l'adresse https://github.com/yuzeng0-0/AGILE.

English

Although current large Vision-Language Models (VLMs) have advanced in multimodal understanding and reasoning, their fundamental perceptual and reasoning abilities remain limited. Specifically, even on simple jigsaw tasks, existing VLMs perform near randomly, revealing deficiencies in core perception and reasoning capabilities. While high-quality vision-language data can enhance these capabilities, its scarcity and limited scalability impose significant constraints. To address this, we propose AGILE, an Agentic jiGsaw Interaction Learning for Enhancing visual perception and reasoning in VLMs. AGILE formulates jigsaw solving as an interactive process, enabling the model to progressively engage with the environment. At each step, the model generates executable code to perform an action based on the current state, while the environment provides fine-grained visual feedback to guide task completion. Through this iterative cycle of observation and interaction, the model incrementally improves its perceptual and reasoning capabilities via exploration and feedback. Experimental results show that AGILE not only substantially boosts performance on jigsaw tasks of varying complexity (e.g., increasing accuracy from 9.5% to 82.8% under the 2 times 2 setting) but also demonstrates strong generalization across 9 general vision tasks, achieving an average improvement of 3.1%. These results indicate notable enhancements in both perceptual and reasoning abilities. This work opens a new avenue for advancing reasoning and generalization in multimodal models and provides an efficient, scalable solution to the scarcity of multimodal reinforcement learning data. The code and datasets is available at https://github.com/yuzeng0-0/AGILE .