Sherlock: Razonamiento Autocorrectivo en Modelos de Visión-Lenguaje

Sherlock: Self-Correcting Reasoning in Vision-Language Models

May 28, 2025

Autores: Yi Ding, Ruqi Zhang

cs.AI

Resumen

Los modelos de visión y lenguaje con capacidad de razonamiento (VLMs, por sus siglas en inglés) han demostrado un rendimiento prometedor en tareas multimodales complejas. Sin embargo, aún enfrentan desafíos significativos: son altamente sensibles a errores de razonamiento, requieren grandes volúmenes de datos anotados o verificadores precisos, y tienen dificultades para generalizar más allá de dominios específicos. Para abordar estas limitaciones, exploramos la autocorrección como una estrategia para mejorar los VLMs de razonamiento. Primero realizamos un análisis en profundidad de las capacidades de autocorrección de los VLMs e identificamos brechas clave. Basándonos en nuestros hallazgos, presentamos Sherlock, un marco de entrenamiento para autocorrección y auto-mejora. Sherlock introduce un objetivo de autocorrección a nivel de trayectoria, un método de construcción de datos de preferencia basado en perturbación visual y un beta dinámico para el ajuste de preferencias. Una vez que el modelo adquiere capacidades de autocorrección utilizando solo 20k datos anotados muestreados aleatoriamente, continúa auto-mejorándose sin supervisión externa. Construido sobre el modelo Llama3.2-Vision-11B, Sherlock logra resultados notables en ocho benchmarks, alcanzando una precisión promedio de 64.1 con generación directa y 65.4 después de la autocorrección. Supera a LLaVA-CoT (63.2), Mulberry (63.9) y LlamaV-o1 (63.4) mientras utiliza menos del 20% de los datos anotados.

English

Reasoning Vision-Language Models (VLMs) have shown promising performance on complex multimodal tasks. However, they still face significant challenges: they are highly sensitive to reasoning errors, require large volumes of annotated data or accurate verifiers, and struggle to generalize beyond specific domains. To address these limitations, we explore self-correction as a strategy to enhance reasoning VLMs. We first conduct an in-depth analysis of reasoning VLMs' self-correction abilities and identify key gaps. Based on our findings, we introduce Sherlock, a self-correction and self-improvement training framework. Sherlock introduces a trajectory-level self-correction objective, a preference data construction method based on visual perturbation, and a dynamic beta for preference tuning. Once the model acquires self-correction capabilities using only 20k randomly sampled annotated data, it continues to self-improve without external supervision. Built on the Llama3.2-Vision-11B model, Sherlock achieves remarkable results across eight benchmarks, reaching an average accuracy of 64.1 with direct generation and 65.4 after self-correction. It outperforms LLaVA-CoT (63.2), Mulberry (63.9), and LlamaV-o1 (63.4) while using less than 20% of the annotated data.