Modelo de Visión-Lenguaje Autorecompensante mediante Descomposición del Razonamiento

Self-Rewarding Vision-Language Model via Reasoning Decomposition

August 27, 2025

Autores: Zongxia Li, Wenhao Yu, Chengsong Huang, Rui Liu, Zhenwen Liang, Fuxiao Liu, Jingxi Che, Dian Yu, Jordan Boyd-Graber, Haitao Mi, Dong Yu

cs.AI

Resumen

Los modelos de visión-lenguaje (VLMs, por sus siglas en inglés) a menudo sufren de alucinaciones visuales, afirmando cosas que no están realmente en la imagen, y de atajos lingüísticos, donde omiten la parte visual y se basan únicamente en conocimientos previos de texto. Estos problemas surgen porque la mayoría de los métodos de posentrenamiento para VLMs dependen de la coincidencia simple de respuestas verificables y supervisan solo las salidas finales, dejando el razonamiento visual intermedio sin una guía explícita. Como resultado, los VLMs reciben señales visuales dispersas y a menudo aprenden a priorizar el razonamiento basado en el lenguaje sobre la percepción visual. Para mitigar esto, algunos métodos existentes añaden supervisión visual utilizando anotaciones humanas o etiquetas destiladas de modelos externos grandes. Sin embargo, las anotaciones humanas son laboriosas y costosas, y dado que las señales externas no pueden adaptarse a la política en evolución, causan cambios distribucionales que pueden llevar a la manipulación de recompensas. En este artículo, presentamos Vision-SR1, un método de autorrecompensa que mejora el razonamiento visual sin depender de supervisiones visuales externas mediante el aprendizaje por refuerzo. Vision-SR1 descompone el razonamiento del VLM en dos etapas: percepción visual y razonamiento lingüístico. Primero, se solicita al modelo que produzca percepciones visuales autónomas que sean suficientes para responder la pregunta sin volver a consultar la imagen de entrada. Para validar esta autonomía, el mismo modelo VLM es luego reimpulsado para realizar el razonamiento lingüístico utilizando solo la percepción generada como entrada para calcular la recompensa. Esta autorrecompensa se combina con la supervisión de las salidas finales, proporcionando una señal de entrenamiento equilibrada que fortalece tanto la percepción visual como el razonamiento lingüístico. Nuestros experimentos demuestran que Vision-SR1 mejora el razonamiento visual, mitiga las alucinaciones visuales y reduce la dependencia de atajos lingüísticos en diversas tareas de visión-lenguaje.

English

Vision-Language Models (VLMs) often suffer from visual hallucinations, saying things that are not actually in the image, and language shortcuts, where they skip the visual part and just rely on text priors. These issues arise because most post-training methods for VLMs rely on simple verifiable answer matching and supervise only final outputs, leaving intermediate visual reasoning without explicit guidance. As a result, VLMs receive sparse visual signals and often learn to prioritize language-based reasoning over visual perception. To mitigate this, some existing methods add visual supervision using human annotations or distilled labels from external large models. However, human annotations are labor-intensive and costly, and because external signals cannot adapt to the evolving policy, they cause distributional shifts that can lead to reward hacking. In this paper, we introduce Vision-SR1, a self-rewarding method that improves visual reasoning without relying on external visual supervisions via reinforcement learning. Vision-SR1 decomposes VLM reasoning into two stages: visual perception and language reasoning. The model is first prompted to produce self-contained visual perceptions that are sufficient to answer the question without referring back the input image. To validate this self-containment, the same VLM model is then re-prompted to perform language reasoning using only the generated perception as input to compute reward. This self-reward is combined with supervision on final outputs, providing a balanced training signal that strengthens both visual perception and language reasoning. Our experiments demonstrate that Vision-SR1 improves visual reasoning, mitigates visual hallucinations, and reduces reliance on language shortcuts across diverse vision-language tasks.