OpenVLThinker : Une première exploration du raisonnement complexe vision-langage via l'amélioration itérative autonome

OpenVLThinker: An Early Exploration to Complex Vision-Language Reasoning via Iterative Self-Improvement

March 21, 2025

Auteurs: Yihe Deng, Hritik Bansal, Fan Yin, Nanyun Peng, Wei Wang, Kai-Wei Chang

cs.AI

Résumé

Les récents progrès démontrés par DeepSeek-R1 ont montré que les capacités de raisonnement complexe dans les grands modèles de langage (LLMs), y compris des comportements sophistiqués tels que l'auto-vérification et l'auto-correction, peuvent être atteints par l'apprentissage par renforcement (RL) avec des récompenses vérifiables, améliorant significativement les performances du modèle sur des tâches difficiles comme AIME. Motivés par ces résultats, notre étude explore si des capacités de raisonnement similaires peuvent être intégrées avec succès dans les grands modèles vision-langage (LVLMs) et évalue leur impact sur des tâches de raisonnement multimodal complexes. Nous envisageons une approche qui exploite itérativement le fine-tuning supervisé (SFT) sur des données d'entraînement légères et l'apprentissage par renforcement (RL) pour améliorer davantage la généralisation du modèle. Initialement, les capacités de raisonnement ont été distillées à partir des modèles R1 en texte pur en générant des étapes de raisonnement à l'aide de légendes de haute qualité d'images provenant de divers ensembles de données visuelles. Par la suite, l'entraînement itératif par RL a encore renforcé les compétences de raisonnement, chaque itération du modèle amélioré par RL générant des ensembles de données SFT raffinés pour le tour suivant. Ce processus itératif a donné naissance à OpenVLThinker, un LVLM présentant une amélioration constante des performances de raisonnement sur des benchmarks difficiles tels que MathVista, MathVerse et MathVision, démontrant le potentiel de notre stratégie pour un raisonnement vision-langage robuste. Le code, le modèle et les données sont disponibles à l'adresse https://github.com/yihedeng9/OpenVLThinker.

English

Recent advancements demonstrated by DeepSeek-R1 have shown that complex reasoning abilities in large language models (LLMs), including sophisticated behaviors such as self-verification and self-correction, can be achieved by RL with verifiable rewards and significantly improves model performance on challenging tasks such as AIME. Motivated by these findings, our study investigates whether similar reasoning capabilities can be successfully integrated into large vision-language models (LVLMs) and assesses their impact on challenging multimodal reasoning tasks. We consider an approach that iteratively leverages supervised fine-tuning (SFT) on lightweight training data and Reinforcement Learning (RL) to further improve model generalization. Initially, reasoning capabilities were distilled from pure-text R1 models by generating reasoning steps using high-quality captions of the images sourced from diverse visual datasets. Subsequently, iterative RL training further enhance reasoning skills, with each iteration's RL-improved model generating refined SFT datasets for the next round. This iterative process yielded OpenVLThinker, a LVLM exhibiting consistently improved reasoning performance on challenging benchmarks such as MathVista, MathVerse, and MathVision, demonstrating the potential of our strategy for robust vision-language reasoning. The code, model and data are held at https://github.com/yihedeng9/OpenVLThinker.