GRIT: Insegnare ai MLLM a Pensare con le Immagini
GRIT: Teaching MLLMs to Think with Images
May 21, 2025
Autori: Yue Fan, Xuehai He, Diji Yang, Kaizhi Zheng, Ching-Chen Kuo, Yuting Zheng, Sravana Jyothi Narayanaraju, Xinze Guan, Xin Eric Wang
cs.AI
Abstract
Studi recenti hanno dimostrato l'efficacia dell'utilizzo del Reinforcement Learning (RL) nella costruzione di modelli di ragionamento che articolano catene di pensiero prima di produrre risposte finali. Tuttavia, nonostante i progressi continui mirati a abilitare il ragionamento per compiti di visione e linguaggio, i modelli open-source esistenti per il ragionamento visivo generano tipicamente contenuti di ragionamento utilizzando esclusivamente linguaggio naturale, senza un'integrazione esplicita delle informazioni visive. Ciò limita la loro capacità di produrre catene di ragionamento chiaramente articolate e basate su elementi visivi. A tal fine, proponiamo Grounded Reasoning with Images and Texts (GRIT), un metodo innovativo per addestrare MLLM (Modelli Multilingue di Linguaggio) a pensare con le immagini. GRIT introduce un paradigma di ragionamento basato su elementi visivi, in cui i modelli generano catene di ragionamento che alternano linguaggio naturale e coordinate esplicite di bounding box. Queste coordinate indicano regioni dell'immagine di input che il modello consulta durante il processo di ragionamento. Inoltre, GRIT è dotato di un approccio di reinforcement learning, GRPO-GR, basato sull'algoritmo GRPO. GRPO-GR utilizza ricompense robuste focalizzate sull'accuratezza della risposta finale e sul formato dell'output di ragionamento basato su elementi visivi, eliminando la necessità di dati con annotazioni di catene di ragionamento o etichette esplicite di bounding box. Di conseguenza, GRIT raggiunge un'eccellente efficienza dei dati, richiedendo solo 20 triplette immagine-domanda-risposta da dataset esistenti. Valutazioni complete dimostrano che GRIT addestra efficacemente i MLLM a produrre catene di ragionamento coerenti e basate su elementi visivi, mostrando una riuscita unificazione delle capacità di ragionamento e di ancoraggio visivo.
English
Recent studies have demonstrated the efficacy of using Reinforcement Learning
(RL) in building reasoning models that articulate chains of thoughts prior to
producing final answers. However, despite ongoing advances that aim at enabling
reasoning for vision-language tasks, existing open-source visual reasoning
models typically generate reasoning content with pure natural language, lacking
explicit integration of visual information. This limits their ability to
produce clearly articulated and visually grounded reasoning chains. To this
end, we propose Grounded Reasoning with Images and Texts (GRIT), a novel method
for training MLLMs to think with images. GRIT introduces a grounded reasoning
paradigm, in which models generate reasoning chains that interleave natural
language and explicit bounding box coordinates. These coordinates point to
regions of the input image that the model consults during its reasoning
process. Additionally, GRIT is equipped with a reinforcement learning approach,
GRPO-GR, built upon the GRPO algorithm. GRPO-GR employs robust rewards focused
on the final answer accuracy and format of the grounded reasoning output, which
eliminates the need for data with reasoning chain annotations or explicit
bounding box labels. As a result, GRIT achieves exceptional data efficiency,
requiring as few as 20 image-question-answer triplets from existing datasets.
Comprehensive evaluations demonstrate that GRIT effectively trains MLLMs to
produce coherent and visually grounded reasoning chains, showing a successful
unification of reasoning and grounding abilities.