Agentisch Puzzel Interactie Leren voor het Verbeteren van Visuele Waarneming en Redeneren in Visie-Taalmodellen

Samenvatting

Hoewel huidige grote Vision-Language Models (VLMs) vooruitgang hebben geboekt in multimodale begrips- en redeneervaardigheden, blijven hun fundamentele perceptuele en redeneervermogen beperkt. Specifiek presteren bestaande VLMs zelfs op eenvoudige puzzeltaken bijna willekeurig, wat tekortkomingen in kernperceptie en redeneervermogen aan het licht brengt. Hoewel hoogwaardige visueel-taalkundige gegevens deze vaardigheden kunnen verbeteren, vormen de schaarste en beperkte schaalbaarheid ervan aanzienlijke beperkingen. Om dit aan te pakken, stellen we AGILE voor, een Agentic jiGsaw Interaction Learning voor het verbeteren van visuele perceptie en redeneervermogen in VLMs. AGILE formuleert het oplossen van puzzels als een interactief proces, waardoor het model geleidelijk kan interageren met de omgeving. Bij elke stap genereert het model uitvoerbare code om een actie uit te voeren op basis van de huidige staat, terwijl de omgeving fijnmazige visuele feedback biedt om de taak te voltooien. Door deze iteratieve cyclus van observatie en interactie verbetert het model stapsgewijs zijn perceptuele en redeneervermogen via exploratie en feedback. Experimentele resultaten tonen aan dat AGILE niet alleen de prestaties aanzienlijk verbetert op puzzeltaken van verschillende complexiteit (bijvoorbeeld een nauwkeurigheidsverhoging van 9,5% naar 82,8% onder de 2 keer 2 instelling), maar ook sterke generalisatie vertoont over 9 algemene visuele taken, met een gemiddelde verbetering van 3,1%. Deze resultaten duiden op aanzienlijke verbeteringen in zowel perceptuele als redeneervermogen. Dit werk opent een nieuwe weg voor het bevorderen van redenering en generalisatie in multimodale modellen en biedt een efficiënte, schaalbare oplossing voor de schaarste aan multimodale reinforcement learning-gegevens. De code en datasets zijn beschikbaar op https://github.com/yuzeng0-0/AGILE.

English

Although current large Vision-Language Models (VLMs) have advanced in multimodal understanding and reasoning, their fundamental perceptual and reasoning abilities remain limited. Specifically, even on simple jigsaw tasks, existing VLMs perform near randomly, revealing deficiencies in core perception and reasoning capabilities. While high-quality vision-language data can enhance these capabilities, its scarcity and limited scalability impose significant constraints. To address this, we propose AGILE, an Agentic jiGsaw Interaction Learning for Enhancing visual perception and reasoning in VLMs. AGILE formulates jigsaw solving as an interactive process, enabling the model to progressively engage with the environment. At each step, the model generates executable code to perform an action based on the current state, while the environment provides fine-grained visual feedback to guide task completion. Through this iterative cycle of observation and interaction, the model incrementally improves its perceptual and reasoning capabilities via exploration and feedback. Experimental results show that AGILE not only substantially boosts performance on jigsaw tasks of varying complexity (e.g., increasing accuracy from 9.5% to 82.8% under the 2 times 2 setting) but also demonstrates strong generalization across 9 general vision tasks, achieving an average improvement of 3.1%. These results indicate notable enhancements in both perceptual and reasoning abilities. This work opens a new avenue for advancing reasoning and generalization in multimodal models and provides an efficient, scalable solution to the scarcity of multimodal reinforcement learning data. The code and datasets is available at https://github.com/yuzeng0-0/AGILE .

Agentisch Puzzel Interactie Leren voor het Verbeteren van Visuele Waarneming en Redeneren in Visie-Taalmodellen

Agentic Jigsaw Interaction Learning for Enhancing Visual Perception and Reasoning in Vision-Language Models

Samenvatting

Support