GRIT: MLLM's leren denken met afbeeldingen

Samenvatting

Recente studies hebben de effectiviteit aangetoond van het gebruik van Reinforcement Learning (RL) bij het bouwen van redeneermodellen die gedachtegangen articuleren voordat ze tot een definitief antwoord komen. Ondanks voortdurende vooruitgang die gericht is op het mogelijk maken van redeneren voor visueel-taalkundige taken, genereren bestaande open-source visuele redeneermodellen doorgaans redeneerinhoud met puur natuurlijke taal, zonder expliciete integratie van visuele informatie. Dit beperkt hun vermogen om duidelijk gearticuleerde en visueel onderbouwde redeneerketens te produceren. Daarom stellen wij Grounded Reasoning with Images and Texts (GRIT) voor, een nieuwe methode voor het trainen van MLLM's om met afbeeldingen te denken. GRIT introduceert een onderbouwd redeneerparadigma, waarbij modellen redeneerketens genereren die natuurlijke taal afwisselen met expliciete bounding box-coördinaten. Deze coördinaten verwijzen naar regio's in de invoerafbeelding die het model tijdens zijn redeneerproces raadpleegt. Daarnaast is GRIT uitgerust met een reinforcement learning-benadering, GRPO-GR, gebaseerd op het GRPO-algoritme. GRPO-GR maakt gebruik van robuuste beloningen die gericht zijn op de nauwkeurigheid van het uiteindelijke antwoord en de opmaak van de onderbouwde redeneeruitvoer, waardoor de noodzaak voor gegevens met annotaties van redeneerketens of expliciete bounding box-labels wordt geëlimineerd. Hierdoor bereikt GRIT een uitzonderlijke data-efficiëntie, waarbij slechts 20 afbeelding-vraag-antwoord-tripletten uit bestaande datasets nodig zijn. Uitgebreide evaluaties tonen aan dat GRIT MLLM's effectief traint om samenhangende en visueel onderbouwde redeneerketens te produceren, wat een succesvolle eenwording van redeneer- en onderbouwingsvaardigheden aantoont.

English

Recent studies have demonstrated the efficacy of using Reinforcement Learning (RL) in building reasoning models that articulate chains of thoughts prior to producing final answers. However, despite ongoing advances that aim at enabling reasoning for vision-language tasks, existing open-source visual reasoning models typically generate reasoning content with pure natural language, lacking explicit integration of visual information. This limits their ability to produce clearly articulated and visually grounded reasoning chains. To this end, we propose Grounded Reasoning with Images and Texts (GRIT), a novel method for training MLLMs to think with images. GRIT introduces a grounded reasoning paradigm, in which models generate reasoning chains that interleave natural language and explicit bounding box coordinates. These coordinates point to regions of the input image that the model consults during its reasoning process. Additionally, GRIT is equipped with a reinforcement learning approach, GRPO-GR, built upon the GRPO algorithm. GRPO-GR employs robust rewards focused on the final answer accuracy and format of the grounded reasoning output, which eliminates the need for data with reasoning chain annotations or explicit bounding box labels. As a result, GRIT achieves exceptional data efficiency, requiring as few as 20 image-question-answer triplets from existing datasets. Comprehensive evaluations demonstrate that GRIT effectively trains MLLMs to produce coherent and visually grounded reasoning chains, showing a successful unification of reasoning and grounding abilities.

GRIT: MLLM's leren denken met afbeeldingen

GRIT: Teaching MLLMs to Think with Images

Samenvatting

Support