Sherlock : Raisonnement auto-corrigé dans les modèles vision-langage

Sherlock: Self-Correcting Reasoning in Vision-Language Models

May 28, 2025

Auteurs: Yi Ding, Ruqi Zhang

cs.AI

Résumé

Les modèles de raisonnement vision-langage (VLMs) ont démontré des performances prometteuses sur des tâches multimodales complexes. Cependant, ils rencontrent encore des défis significatifs : ils sont très sensibles aux erreurs de raisonnement, nécessitent de grands volumes de données annotées ou des vérificateurs précis, et peinent à généraliser au-delà de domaines spécifiques. Pour surmonter ces limitations, nous explorons l'auto-correction comme stratégie pour améliorer les VLMs de raisonnement. Nous menons d'abord une analyse approfondie des capacités d'auto-correction des VLMs et identifions les lacunes clés. Sur la base de nos observations, nous introduisons Sherlock, un cadre d'entraînement pour l'auto-correction et l'auto-amélioration. Sherlock intègre un objectif d'auto-correction au niveau de la trajectoire, une méthode de construction de données de préférence basée sur des perturbations visuelles, et un bêta dynamique pour l'ajustement des préférences. Une fois que le modèle acquiert des capacités d'auto-correction en utilisant seulement 20k données annotées échantillonnées aléatoirement, il continue à s'auto-améliorer sans supervision externe. Basé sur le modèle Llama3.2-Vision-11B, Sherlock obtient des résultats remarquables sur huit benchmarks, atteignant une précision moyenne de 64,1 avec une génération directe et de 65,4 après auto-correction. Il surpasse LLaVA-CoT (63,2), Mulberry (63,9) et LlamaV-o1 (63,4) tout en utilisant moins de 20 % des données annotées.

English

Reasoning Vision-Language Models (VLMs) have shown promising performance on complex multimodal tasks. However, they still face significant challenges: they are highly sensitive to reasoning errors, require large volumes of annotated data or accurate verifiers, and struggle to generalize beyond specific domains. To address these limitations, we explore self-correction as a strategy to enhance reasoning VLMs. We first conduct an in-depth analysis of reasoning VLMs' self-correction abilities and identify key gaps. Based on our findings, we introduce Sherlock, a self-correction and self-improvement training framework. Sherlock introduces a trajectory-level self-correction objective, a preference data construction method based on visual perturbation, and a dynamic beta for preference tuning. Once the model acquires self-correction capabilities using only 20k randomly sampled annotated data, it continues to self-improve without external supervision. Built on the Llama3.2-Vision-11B model, Sherlock achieves remarkable results across eight benchmarks, reaching an average accuracy of 64.1 with direct generation and 65.4 after self-correction. It outperforms LLaVA-CoT (63.2), Mulberry (63.9), and LlamaV-o1 (63.4) while using less than 20% of the annotated data.