Sobre a Robustez e a Consistência da Cadeia de Pensamento de VLMs Ajustados por RL
On Robustness and Chain-of-Thought Consistency of RL-Finetuned VLMs
February 13, 2026
Autores: Rosie Zhao, Anshul Shah, Xiaoyu Zhu, Xinke Deng, Zhongyu Jiang, Yang Yang, Joerg Liebelt, Arnab Mondal
cs.AI
Resumo
A afinação por aprendizagem por reforço (RL) tornou-se uma técnica fundamental para melhorar modelos de linguagem grandes (LLMs) em tarefas que exigem raciocínio intensivo, motivando a sua extensão a modelos de visão e linguagem (VLMs). Embora os VLMs afinados com RL apresentem melhorias em benchmarks de raciocínio visual, eles permanecem vulneráveis a um fraco grounding visual, alucinações e excessiva dependência de pistas textuais. Demonstramos que perturbações textuais simples e controladas – legendas enganosas ou traços incorretos de pensamento em cadeia (CoT) – causam quedas substanciais na robustez e na confiança, e que estes efeitos são mais pronunciados quando a consistência do CoT é considerada em modelos de raciocínio multimodal de código aberto. Métricas baseadas em entropia mostram ainda que estas perturbações remodeiam a incerteza do modelo e a massa de probabilidade na opção correta, expondo tendências específicas de cada modelo em termos de má calibração. Para melhor compreender estas vulnerabilidades, analisámos ainda a dinâmica de afinação por RL e descobrimos um compromisso (trade-off) entre precisão e fidelidade: a afinação aumenta a precisão nos benchmarks, mas pode simultaneamente corroer a fiabilidade do CoT que a acompanha e a sua robustez a mudanças contextuais. Embora a aumento adversarial melhore a robustez, por si só não impede a deriva na fidelidade. Incorporar uma recompensa sensível à fidelidade pode restaurar o alinhamento entre respostas e raciocínio, mas, quando combinada com aumento, o treino arrisca colapsar em estratégias de atalho e a robustez permanece elusiva. Em conjunto, estes resultados destacam as limitações das avaliações baseadas apenas na precisão e motivam protocolos de treino e avaliação que enfatizem conjuntamente a correção, a robustez e a fidelidade do raciocínio com grounding visual.
English
Reinforcement learning (RL) fine-tuning has become a key technique for enhancing large language models (LLMs) on reasoning-intensive tasks, motivating its extension to vision language models (VLMs). While RL-tuned VLMs improve on visual reasoning benchmarks, they remain vulnerable to weak visual grounding, hallucinations, and over-reliance on textual cues. We show that simple, controlled textual perturbations--misleading captions or incorrect chain-of-thought (CoT) traces--cause substantial drops in robustness and confidence, and that these effects are more pronounced when CoT consistency is taken into account across open-source multimodal reasoning models. Entropy-based metrics further show that these perturbations reshape model uncertainty and probability mass on the correct option, exposing model-specific trends in miscalibration. To better understand these vulnerabilities, we further analyze RL fine-tuning dynamics and uncover an accuracy-faithfulness trade-off: fine-tuning raises benchmark accuracy, but can simultaneously erode the reliability of the accompanying CoT and its robustness to contextual shifts. Although adversarial augmentation improves robustness, it does not by itself prevent faithfulness drift. Incorporating a faithfulness-aware reward can restore alignment between answers and reasoning, but when paired with augmentation, training risks collapsing onto shortcut strategies and robustness remains elusive. Together, these findings highlight the limitations of accuracy-only evaluations and motivate training and assessment protocols that jointly emphasize correctness, robustness, and the faithfulness of visually grounded reasoning.