GRIT : Apprendre aux MLLM à raisonner avec des images

GRIT: Teaching MLLMs to Think with Images

May 21, 2025

Auteurs: Yue Fan, Xuehai He, Diji Yang, Kaizhi Zheng, Ching-Chen Kuo, Yuting Zheng, Sravana Jyothi Narayanaraju, Xinze Guan, Xin Eric Wang

cs.AI

Résumé

Des études récentes ont démontré l'efficacité de l'utilisation de l'apprentissage par renforcement (Reinforcement Learning, RL) pour construire des modèles de raisonnement qui articulent des chaînes de pensées avant de produire des réponses finales. Cependant, malgré les avancées continues visant à permettre le raisonnement pour les tâches vision-langage, les modèles de raisonnement visuel open-source existants génèrent généralement un contenu de raisonnement en langage naturel pur, sans intégration explicite des informations visuelles. Cela limite leur capacité à produire des chaînes de raisonnement clairement articulées et ancrées visuellement. Pour pallier cela, nous proposons Grounded Reasoning with Images and Texts (GRIT), une méthode novatrice pour entraîner des modèles multilingues (MLLMs) à raisonner avec des images. GRIT introduit un paradigme de raisonnement ancré, dans lequel les modèles génèrent des chaînes de raisonnement qui entrelacent le langage naturel et des coordonnées explicites de boîtes englobantes. Ces coordonnées pointent vers des régions de l'image d'entrée que le modèle consulte pendant son processus de raisonnement. De plus, GRIT est équipé d'une approche d'apprentissage par renforcement, GRPO-GR, basée sur l'algorithme GRPO. GRPO-GR utilise des récompenses robustes axées sur la précision de la réponse finale et le format de la sortie de raisonnement ancré, ce qui élimine le besoin de données avec des annotations de chaînes de raisonnement ou des étiquettes explicites de boîtes englobantes. En conséquence, GRIT atteint une efficacité exceptionnelle en termes de données, nécessitant aussi peu que 20 triplets image-question-réponse provenant de jeux de données existants. Des évaluations approfondies démontrent que GRIT entraîne efficacement les MLLMs à produire des chaînes de raisonnement cohérentes et ancrées visuellement, montrant une unification réussie des capacités de raisonnement et d'ancrage.

English

Recent studies have demonstrated the efficacy of using Reinforcement Learning (RL) in building reasoning models that articulate chains of thoughts prior to producing final answers. However, despite ongoing advances that aim at enabling reasoning for vision-language tasks, existing open-source visual reasoning models typically generate reasoning content with pure natural language, lacking explicit integration of visual information. This limits their ability to produce clearly articulated and visually grounded reasoning chains. To this end, we propose Grounded Reasoning with Images and Texts (GRIT), a novel method for training MLLMs to think with images. GRIT introduces a grounded reasoning paradigm, in which models generate reasoning chains that interleave natural language and explicit bounding box coordinates. These coordinates point to regions of the input image that the model consults during its reasoning process. Additionally, GRIT is equipped with a reinforcement learning approach, GRPO-GR, built upon the GRPO algorithm. GRPO-GR employs robust rewards focused on the final answer accuracy and format of the grounded reasoning output, which eliminates the need for data with reasoning chain annotations or explicit bounding box labels. As a result, GRIT achieves exceptional data efficiency, requiring as few as 20 image-question-answer triplets from existing datasets. Comprehensive evaluations demonstrate that GRIT effectively trains MLLMs to produce coherent and visually grounded reasoning chains, showing a successful unification of reasoning and grounding abilities.