Sobre la Robustez y la Coherencia de la Cadena de Razonamiento en Modelos de Lenguaje Visual Ajustados con Aprendizaje por Refuerzo

On Robustness and Chain-of-Thought Consistency of RL-Finetuned VLMs

February 13, 2026

Autores: Rosie Zhao, Anshul Shah, Xiaoyu Zhu, Xinke Deng, Zhongyu Jiang, Yang Yang, Joerg Liebelt, Arnab Mondal

cs.AI

Resumen

El ajuste fino por aprendizaje por refuerzo (RL) se ha convertido en una técnica clave para mejorar los modelos de lenguaje grande (LLM) en tareas que requieren un razonamiento intensivo, lo que motiva su extensión a los modelos de lenguaje visual (VLM). Si bien los VLM ajustados con RL mejoran en los puntos de referencia de razonamiento visual, siguen siendo vulnerables a un grounding visual débil, alucinaciones y a una dependencia excesiva de las señales textuales. Demostramos que perturbaciones textuales simples y controladas—leyendas engañosas o trazas incorrectas de pensamiento en cadena (CoT)—provocan caídas sustanciales en la robustez y la confianza, y que estos efectos son más pronunciados cuando se tiene en cuenta la coherencia del CoT en diversos modelos de razonamiento multimodal de código abierto. Las métricas basadas en entropía muestran además que estas perturbaciones remodelan la incertidumbre del modelo y la masa de probabilidad en la opción correcta, exponiendo tendencias específicas del modelo en la mala calibración. Para comprender mejor estas vulnerabilidades, analizamos además la dinámica del ajuste fino con RL y descubrimos una disyuntiva entre precisión y fidelidad: el ajuste fino aumenta la precisión en los puntos de referencia, pero puede erosionar simultáneamente la fiabilidad del CoT que lo acompaña y su robustez ante cambios contextuales. Aunque la aumentación adversarial mejora la robustez, por sí sola no impide la deriva de la fidelidad. Incorporar una recompensa consciente de la fidelidad puede restaurar la alineación entre las respuestas y el razonamiento, pero cuando se combina con la aumentación, el entrenamiento corre el riesgo de colapsar en estrategias de acceso directo y la robustez sigue siendo esquiva. En conjunto, estos hallazgos resaltan las limitaciones de las evaluaciones basadas únicamente en la precisión y motivan protocolos de entrenamiento y evaluación que enfaticen conjuntamente la corrección, la robustez y la fidelidad del razonamiento basado en información visual.

English

Reinforcement learning (RL) fine-tuning has become a key technique for enhancing large language models (LLMs) on reasoning-intensive tasks, motivating its extension to vision language models (VLMs). While RL-tuned VLMs improve on visual reasoning benchmarks, they remain vulnerable to weak visual grounding, hallucinations, and over-reliance on textual cues. We show that simple, controlled textual perturbations--misleading captions or incorrect chain-of-thought (CoT) traces--cause substantial drops in robustness and confidence, and that these effects are more pronounced when CoT consistency is taken into account across open-source multimodal reasoning models. Entropy-based metrics further show that these perturbations reshape model uncertainty and probability mass on the correct option, exposing model-specific trends in miscalibration. To better understand these vulnerabilities, we further analyze RL fine-tuning dynamics and uncover an accuracy-faithfulness trade-off: fine-tuning raises benchmark accuracy, but can simultaneously erode the reliability of the accompanying CoT and its robustness to contextual shifts. Although adversarial augmentation improves robustness, it does not by itself prevent faithfulness drift. Incorporating a faithfulness-aware reward can restore alignment between answers and reasoning, but when paired with augmentation, training risks collapsing onto shortcut strategies and robustness remains elusive. Together, these findings highlight the limitations of accuracy-only evaluations and motivate training and assessment protocols that jointly emphasize correctness, robustness, and the faithfulness of visually grounded reasoning.