GRIT: MLLMs beibringen, mit Bildern zu denken

GRIT: Teaching MLLMs to Think with Images

May 21, 2025

Autoren: Yue Fan, Xuehai He, Diji Yang, Kaizhi Zheng, Ching-Chen Kuo, Yuting Zheng, Sravana Jyothi Narayanaraju, Xinze Guan, Xin Eric Wang

cs.AI

Zusammenfassung

Aktuelle Studien haben die Wirksamkeit von Reinforcement Learning (RL) beim Aufbau von Denkmodellen gezeigt, die Gedankenketten artikulieren, bevor sie endgültige Antworten liefern. Trotz fortlaufender Fortschritte, die darauf abzielen, das Denken für visuell-sprachliche Aufgaben zu ermöglichen, generieren bestehende Open-Source-Modelle für visuelles Denken den Denkinhalt typischerweise in reiner natürlicher Sprache, ohne explizite Integration visueller Informationen. Dies schränkt ihre Fähigkeit ein, klar artikulierte und visuell fundierte Denkketten zu erzeugen. Zu diesem Zweck schlagen wir Grounded Reasoning with Images and Texts (GRIT) vor, eine neuartige Methode zur Schulung von MLLMs, mit Bildern zu denken. GRIT führt ein fundiertes Denkparadigma ein, bei dem Modelle Denkketten generieren, die natürliche Sprache und explizite Bounding-Box-Koordinaten miteinander verflechten. Diese Koordinaten verweisen auf Regionen des Eingabebildes, die das Modell während seines Denkprozesses konsultiert. Darüber hinaus ist GRIT mit einem Reinforcement-Learning-Ansatz, GRPO-GR, ausgestattet, der auf dem GRPO-Algorithmus basiert. GRPO-GR verwendet robuste Belohnungen, die sich auf die Genauigkeit der endgültigen Antwort und das Format des fundierten Denkens konzentrieren, wodurch der Bedarf an Daten mit Anmerkungen zu Denkketten oder expliziten Bounding-Box-Labels entfällt. Dadurch erreicht GRIT eine außergewöhnliche Dateneffizienz und benötigt lediglich 20 Bild-Frage-Antwort-Tripel aus bestehenden Datensätzen. Umfassende Auswertungen zeigen, dass GRIT MLLMs effektiv darin schult, kohärente und visuell fundierte Denkketten zu erzeugen, was eine erfolgreiche Vereinigung von Denk- und Fundierungsfähigkeiten demonstriert.

English

Recent studies have demonstrated the efficacy of using Reinforcement Learning (RL) in building reasoning models that articulate chains of thoughts prior to producing final answers. However, despite ongoing advances that aim at enabling reasoning for vision-language tasks, existing open-source visual reasoning models typically generate reasoning content with pure natural language, lacking explicit integration of visual information. This limits their ability to produce clearly articulated and visually grounded reasoning chains. To this end, we propose Grounded Reasoning with Images and Texts (GRIT), a novel method for training MLLMs to think with images. GRIT introduces a grounded reasoning paradigm, in which models generate reasoning chains that interleave natural language and explicit bounding box coordinates. These coordinates point to regions of the input image that the model consults during its reasoning process. Additionally, GRIT is equipped with a reinforcement learning approach, GRPO-GR, built upon the GRPO algorithm. GRPO-GR employs robust rewards focused on the final answer accuracy and format of the grounded reasoning output, which eliminates the need for data with reasoning chain annotations or explicit bounding box labels. As a result, GRIT achieves exceptional data efficiency, requiring as few as 20 image-question-answer triplets from existing datasets. Comprehensive evaluations demonstrate that GRIT effectively trains MLLMs to produce coherent and visually grounded reasoning chains, showing a successful unification of reasoning and grounding abilities.