Sherlock: Selbstkorrigierendes Reasoning in Vision-Sprache-Modellen

Sherlock: Self-Correcting Reasoning in Vision-Language Models

May 28, 2025

Autoren: Yi Ding, Ruqi Zhang

cs.AI

Zusammenfassung

Reasoning Vision-Language Models (VLMs) haben vielversprechende Leistungen bei komplexen multimodalen Aufgaben gezeigt. Dennoch stehen sie weiterhin vor erheblichen Herausforderungen: Sie sind sehr anfällig für Fehler im logischen Schlussfolgern, benötigen große Mengen annotierter Daten oder präzise Verifizierer und haben Schwierigkeiten, über spezifische Domänen hinaus zu generalisieren. Um diese Einschränkungen zu überwinden, untersuchen wir Selbstkorrektur als Strategie zur Verbesserung von Reasoning VLMs. Zunächst führen wir eine detaillierte Analyse der Selbstkorrekturfähigkeiten von Reasoning VLMs durch und identifizieren wesentliche Lücken. Basierend auf unseren Erkenntnissen stellen wir Sherlock vor, ein Trainingsframework für Selbstkorrektur und Selbstverbesserung. Sherlock führt ein trajektorienbasiertes Selbstkorrekturziel, eine Methode zur Konstruktion von Präferenzdaten basierend auf visuellen Störungen und ein dynamisches Beta für die Präferenzabstimmung ein. Sobald das Modell Selbstkorrekturfähigkeiten mit nur 20k zufällig ausgewählten annotierten Daten erwirbt, verbessert es sich kontinuierlich ohne externe Überwachung weiter. Aufbauend auf dem Llama3.2-Vision-11B-Modell erzielt Sherlock bemerkenswerte Ergebnisse in acht Benchmarks und erreicht eine durchschnittliche Genauigkeit von 64,1 bei direkter Generierung und 65,4 nach Selbstkorrektur. Es übertrifft LLaVA-CoT (63,2), Mulberry (63,9) und LlamaV-o1 (63,4) und verwendet dabei weniger als 20 % der annotierten Daten.

English

Reasoning Vision-Language Models (VLMs) have shown promising performance on complex multimodal tasks. However, they still face significant challenges: they are highly sensitive to reasoning errors, require large volumes of annotated data or accurate verifiers, and struggle to generalize beyond specific domains. To address these limitations, we explore self-correction as a strategy to enhance reasoning VLMs. We first conduct an in-depth analysis of reasoning VLMs' self-correction abilities and identify key gaps. Based on our findings, we introduce Sherlock, a self-correction and self-improvement training framework. Sherlock introduces a trajectory-level self-correction objective, a preference data construction method based on visual perturbation, and a dynamic beta for preference tuning. Once the model acquires self-correction capabilities using only 20k randomly sampled annotated data, it continues to self-improve without external supervision. Built on the Llama3.2-Vision-11B model, Sherlock achieves remarkable results across eight benchmarks, reaching an average accuracy of 64.1 with direct generation and 65.4 after self-correction. It outperforms LLaVA-CoT (63.2), Mulberry (63.9), and LlamaV-o1 (63.4) while using less than 20% of the annotated data.