О робастности и согласованности цепочек рассуждений у визуально-языковых моделей, дообученных с подкреплением
On Robustness and Chain-of-Thought Consistency of RL-Finetuned VLMs
February 13, 2026
Авторы: Rosie Zhao, Anshul Shah, Xiaoyu Zhu, Xinke Deng, Zhongyu Jiang, Yang Yang, Joerg Liebelt, Arnab Mondal
cs.AI
Аннотация
Тонкая настройка с подкреплением (RL) стала ключевой методикой для улучшения больших языковых моделей (LLM) при решении задач, требующих интенсивных рассуждений, что мотивирует её распространение на визуально-языковые модели (VLM). Хотя VLM, донастроенные с помощью RL, показывают улучшения на бенчмарках визуального мышления, они остаются уязвимыми к слабому визуальному обоснованию, галлюцинациям и избыточной зависимости от текстовых подсказок. Мы демонстрируем, что простые контролируемые текстовые возмущения — вводящие в заблуждение подписи или некорректные цепочки рассуждений (CoT) — приводят к значительному снижению робастности и уверенности модели, причём эти эффекты более выражены, когда учитывается согласованность CoT в открытых мультимодальных моделях рассуждений. Энтропийные метрики дополнительно показывают, что эти возмущения перераспределяют неопределённость модели и вероятностную массу на правильный вариант, выявляя модельно-специфичные тенденции в ошибках калибровки. Для лучшего понимания этих уязвимостей мы анализируем динамику RL-настройки и обнаруживаем компромисс между точностью и достоверностью: донастройка повышает точность на бенчмарках, но одновременно может подрывать надёжность сопровождающей цепочки рассуждений и её устойчивость к контекстным изменениям. Хотя состязательная аугментация улучшает робастность, сама по себе она не предотвращает дрейф достоверности. Включение вознаграждения, учитывающего достоверность, может восстановить соответствие между ответами и рассуждениями, но в сочетании с аугментацией обучение рискует сколлапсировать на стратегии коротких путей, а робастность остаётся недостижимой. В совокупности эти результаты подчёркивают ограничения оценок, ориентированных только на точность, и обосновывают необходимость протоколов обучения и тестирования, которые совместно учитывают корректность, устойчивость и достоверность визуально обоснованных рассуждений.
English
Reinforcement learning (RL) fine-tuning has become a key technique for enhancing large language models (LLMs) on reasoning-intensive tasks, motivating its extension to vision language models (VLMs). While RL-tuned VLMs improve on visual reasoning benchmarks, they remain vulnerable to weak visual grounding, hallucinations, and over-reliance on textual cues. We show that simple, controlled textual perturbations--misleading captions or incorrect chain-of-thought (CoT) traces--cause substantial drops in robustness and confidence, and that these effects are more pronounced when CoT consistency is taken into account across open-source multimodal reasoning models. Entropy-based metrics further show that these perturbations reshape model uncertainty and probability mass on the correct option, exposing model-specific trends in miscalibration. To better understand these vulnerabilities, we further analyze RL fine-tuning dynamics and uncover an accuracy-faithfulness trade-off: fine-tuning raises benchmark accuracy, but can simultaneously erode the reliability of the accompanying CoT and its robustness to contextual shifts. Although adversarial augmentation improves robustness, it does not by itself prevent faithfulness drift. Incorporating a faithfulness-aware reward can restore alignment between answers and reasoning, but when paired with augmentation, training risks collapsing onto shortcut strategies and robustness remains elusive. Together, these findings highlight the limitations of accuracy-only evaluations and motivate training and assessment protocols that jointly emphasize correctness, robustness, and the faithfulness of visually grounded reasoning.