GRIT: Ensinando MLLMs a Pensar com Imagens
GRIT: Teaching MLLMs to Think with Images
May 21, 2025
Autores: Yue Fan, Xuehai He, Diji Yang, Kaizhi Zheng, Ching-Chen Kuo, Yuting Zheng, Sravana Jyothi Narayanaraju, Xinze Guan, Xin Eric Wang
cs.AI
Resumo
Estudos recentes demonstraram a eficácia do uso de Aprendizado por Reforço (RL) na construção de modelos de raciocínio que articulam cadeias de pensamento antes de produzir respostas finais. No entanto, apesar dos avanços contínuos que visam habilitar o raciocínio para tarefas de visão e linguagem, os modelos de raciocínio visual de código aberto existentes geralmente geram conteúdo de raciocínio com linguagem natural pura, carecendo de integração explícita de informações visuais. Isso limita sua capacidade de produzir cadeias de raciocínio claramente articuladas e fundamentadas visualmente. Para tanto, propomos o Grounded Reasoning with Images and Texts (GRIT), um método novo para treinar MLLMs a pensar com imagens. O GRIT introduz um paradigma de raciocínio fundamentado, no qual os modelos geram cadeias de raciocínio que intercalam linguagem natural e coordenadas explícitas de caixas delimitadoras. Essas coordenadas apontam para regiões da imagem de entrada que o modelo consulta durante seu processo de raciocínio. Além disso, o GRIT é equipado com uma abordagem de aprendizado por reforço, GRPO-GR, construída sobre o algoritmo GRPO. O GRPO-GR emprega recompensas robustas focadas na precisão da resposta final e no formato da saída de raciocínio fundamentado, o que elimina a necessidade de dados com anotações de cadeias de raciocínio ou rótulos explícitos de caixas delimitadoras. Como resultado, o GRIT alcança uma eficiência de dados excepcional, exigindo apenas 20 tripletos imagem-pergunta-resposta de conjuntos de dados existentes. Avaliações abrangentes demonstram que o GRIT treina efetivamente MLLMs para produzir cadeias de raciocínio coerentes e fundamentadas visualmente, mostrando uma unificação bem-sucedida das habilidades de raciocínio e fundamentação.
English
Recent studies have demonstrated the efficacy of using Reinforcement Learning
(RL) in building reasoning models that articulate chains of thoughts prior to
producing final answers. However, despite ongoing advances that aim at enabling
reasoning for vision-language tasks, existing open-source visual reasoning
models typically generate reasoning content with pure natural language, lacking
explicit integration of visual information. This limits their ability to
produce clearly articulated and visually grounded reasoning chains. To this
end, we propose Grounded Reasoning with Images and Texts (GRIT), a novel method
for training MLLMs to think with images. GRIT introduces a grounded reasoning
paradigm, in which models generate reasoning chains that interleave natural
language and explicit bounding box coordinates. These coordinates point to
regions of the input image that the model consults during its reasoning
process. Additionally, GRIT is equipped with a reinforcement learning approach,
GRPO-GR, built upon the GRPO algorithm. GRPO-GR employs robust rewards focused
on the final answer accuracy and format of the grounded reasoning output, which
eliminates the need for data with reasoning chain annotations or explicit
bounding box labels. As a result, GRIT achieves exceptional data efficiency,
requiring as few as 20 image-question-answer triplets from existing datasets.
Comprehensive evaluations demonstrate that GRIT effectively trains MLLMs to
produce coherent and visually grounded reasoning chains, showing a successful
unification of reasoning and grounding abilities.