Over robuustheid en consistentie van keten-van-gedachten bij RL-gefine-tunede visueel-taalmodel(len)
On Robustness and Chain-of-Thought Consistency of RL-Finetuned VLMs
February 13, 2026
Auteurs: Rosie Zhao, Anshul Shah, Xiaoyu Zhu, Xinke Deng, Zhongyu Jiang, Yang Yang, Joerg Liebelt, Arnab Mondal
cs.AI
Samenvatting
Reinforcement learning (RL)-finetuning is uitgegroeid tot een belangrijke techniek voor het verbeteren van grote taalmodellen (LLM's) bij reasoning-intensieve taken, wat de uitbreiding naar vision-language modellen (VLM's) motiveert. Hoewel RL-getunede VLM's beter presteren op benchmarks voor visueel redeneren, blijven ze kwetsbaar voor zwakke visuele verankering, hallucinaties en overmatige afhankelijkheid van tekstuele aanwijzingen. Wij tonen aan dat eenvoudige, gecontroleerde tekstuele perturbaties – misleidende bijschriften of incorrecte chain-of-thought (CoT)-sporen – substantiële dalingen in robuustheid en betrouwbaarheid veroorzaken, en dat deze effecten sterker zijn wanneer CoT-consistentie in aanmerking wordt genomen bij open-source multimodale redeneermodellen. Op entropie gebaseerde metrieken tonen verder aan dat deze perturbaties de modelonzekerheid en de kansmassa op de correcte optie hervormen, waardoor modelspecifieke trends in miscalibratie blootgelegd worden. Om deze kwetsbaarheden beter te begrijpen, analyseren we verder de dynamiek van RL-finetuning en ontdekken we een nauwkeurigheid-getrouwheid trade-off: finetuning verhoogt de benchmarknauwkeurigheid, maar kan tegelijkertijd de betrouwbaarheid van de bijbehorende CoT en de robuustheid ervan tegen contextverschuivingen ondermijnen. Hoewel adversariële augmentatie de robuustheid verbetert, voorkomt het op zichzelf geen getrouwheidsdrift. Het opnemen van een getrouwheidsbewuste beloning kan de afstemming tussen antwoorden en redenering herstellen, maar wanneer het gecombineerd wordt met augmentatie, loopt de training het risico in te storten op shortcut-strategieën en blijft robuustheid ongrijpbaar. Gezamenlijk benadrukken deze bevindingen de beperkingen van uitsluitend op nauwkeurigheid gebaseerde evaluaties en motiveren ze trainings- en beoordelingsprotocollen die gezamenlijk de nadruk leggen op correctheid, robuustheid en de getrouwheid van visueel verankerd redeneren.
English
Reinforcement learning (RL) fine-tuning has become a key technique for enhancing large language models (LLMs) on reasoning-intensive tasks, motivating its extension to vision language models (VLMs). While RL-tuned VLMs improve on visual reasoning benchmarks, they remain vulnerable to weak visual grounding, hallucinations, and over-reliance on textual cues. We show that simple, controlled textual perturbations--misleading captions or incorrect chain-of-thought (CoT) traces--cause substantial drops in robustness and confidence, and that these effects are more pronounced when CoT consistency is taken into account across open-source multimodal reasoning models. Entropy-based metrics further show that these perturbations reshape model uncertainty and probability mass on the correct option, exposing model-specific trends in miscalibration. To better understand these vulnerabilities, we further analyze RL fine-tuning dynamics and uncover an accuracy-faithfulness trade-off: fine-tuning raises benchmark accuracy, but can simultaneously erode the reliability of the accompanying CoT and its robustness to contextual shifts. Although adversarial augmentation improves robustness, it does not by itself prevent faithfulness drift. Incorporating a faithfulness-aware reward can restore alignment between answers and reasoning, but when paired with augmentation, training risks collapsing onto shortcut strategies and robustness remains elusive. Together, these findings highlight the limitations of accuracy-only evaluations and motivate training and assessment protocols that jointly emphasize correctness, robustness, and the faithfulness of visually grounded reasoning.