GRIT: Enseñando a los MLLMs a Pensar con Imágenes

GRIT: Teaching MLLMs to Think with Images

May 21, 2025

Autores: Yue Fan, Xuehai He, Diji Yang, Kaizhi Zheng, Ching-Chen Kuo, Yuting Zheng, Sravana Jyothi Narayanaraju, Xinze Guan, Xin Eric Wang

cs.AI

Resumen

Estudios recientes han demostrado la eficacia del uso del Aprendizaje por Refuerzo (RL, por sus siglas en inglés) en la construcción de modelos de razonamiento que articulan cadenas de pensamiento antes de producir respuestas finales. Sin embargo, a pesar de los avances en curso que buscan habilitar el razonamiento para tareas de visión y lenguaje, los modelos de razonamiento visual de código abierto existentes suelen generar contenido de razonamiento utilizando únicamente lenguaje natural, careciendo de una integración explícita de información visual. Esto limita su capacidad para producir cadenas de razonamiento claramente articuladas y fundamentadas visualmente. Con este fin, proponemos Grounded Reasoning with Images and Texts (GRIT), un método novedoso para entrenar modelos de lenguaje multimodal (MLLMs) para pensar con imágenes. GRIT introduce un paradigma de razonamiento fundamentado, en el que los modelos generan cadenas de razonamiento que intercalan lenguaje natural y coordenadas explícitas de cuadros delimitadores. Estas coordenadas apuntan a regiones de la imagen de entrada que el modelo consulta durante su proceso de razonamiento. Además, GRIT está equipado con un enfoque de aprendizaje por refuerzo, GRPO-GR, basado en el algoritmo GRPO. GRPO-GR emplea recompensas robustas centradas en la precisión de la respuesta final y el formato de la salida de razonamiento fundamentado, lo que elimina la necesidad de datos con anotaciones de cadenas de razonamiento o etiquetas explícitas de cuadros delimitadores. Como resultado, GRIT logra una eficiencia excepcional en el uso de datos, requiriendo tan solo 20 tripletas de imagen-pregunta-respuesta de conjuntos de datos existentes. Evaluaciones exhaustivas demuestran que GRIT entrena eficazmente a los MLLMs para producir cadenas de razonamiento coherentes y fundamentadas visualmente, mostrando una unificación exitosa de las capacidades de razonamiento y fundamentación.

English

Recent studies have demonstrated the efficacy of using Reinforcement Learning (RL) in building reasoning models that articulate chains of thoughts prior to producing final answers. However, despite ongoing advances that aim at enabling reasoning for vision-language tasks, existing open-source visual reasoning models typically generate reasoning content with pure natural language, lacking explicit integration of visual information. This limits their ability to produce clearly articulated and visually grounded reasoning chains. To this end, we propose Grounded Reasoning with Images and Texts (GRIT), a novel method for training MLLMs to think with images. GRIT introduces a grounded reasoning paradigm, in which models generate reasoning chains that interleave natural language and explicit bounding box coordinates. These coordinates point to regions of the input image that the model consults during its reasoning process. Additionally, GRIT is equipped with a reinforcement learning approach, GRPO-GR, built upon the GRPO algorithm. GRPO-GR employs robust rewards focused on the final answer accuracy and format of the grounded reasoning output, which eliminates the need for data with reasoning chain annotations or explicit bounding box labels. As a result, GRIT achieves exceptional data efficiency, requiring as few as 20 image-question-answer triplets from existing datasets. Comprehensive evaluations demonstrate that GRIT effectively trains MLLMs to produce coherent and visually grounded reasoning chains, showing a successful unification of reasoning and grounding abilities.