Über die Robustheit und Chain-of-Thought-Konsistenz von RL-feingetuneten VLMs

papers.abstract

Reinforcement Learning (RL)-Feintuning hat sich als Schlüsseltechnik zur Verbesserung großer Sprachmodelle (LLMs) bei reasoning-intensiven Aufgaben etabliert, was seine Erweiterung auf Vision-Language-Modelle (VLMs) motiviert. Während RL-feingetunte VLMs bei Benchmarks für visuelles Reasoning Verbesserungen zeigen, bleiben sie anfällig für schwache visuelle Verankerung, Halluzinationen und eine zu starke Abhängigkeit von textuellen Hinweisen. Wir zeigen, dass einfache, kontrollierte textuelle Störungen – irreführende Bildbeschreibungen oder falsche Chain-of-Thought (CoT)-Abläufe – zu erheblichen Einbrüchen in Robustheit und Konfidenz führen und dass diese Effekte ausgeprägter sind, wenn CoT-Konsistenz über Open-Source-Multimodale Reasoning-Modelle hinweg berücksichtigt wird. Entropiebasierte Metriken zeigen weiterhin, dass diese Störungen die Modellunsicherheit und die Wahrscheinlichkeitsmasse auf der korrekten Option verändern und modellspezifische Trends in der Fehlkalibrierung aufdecken. Um diese Schwachstellen besser zu verstehen, analysieren wir weiterhin die Dynamik des RL-Feintunings und decken einen Zielkonflikt zwischen Genauigkeit und Zuverlässigkeit (Accuracy-Faithfulness Trade-off) auf: Feintuning steigert die Benchmark-Genauigkeit, kann aber gleichzeitig die Zuverlässigkeit des begleitenden CoT und dessen Robustheit gegenüber kontextuellen Veränderungen untergraben. Obwohl adversarielle Augmentierung die Robustheit verbessert, verhindert sie allein keine Drift der Zuverlässigkeit. Die Integration einer zuverlässigkeitsbewussten Belohnung (Faithfulness-Aware Reward) kann die Ausrichtung zwischen Antworten und Reasoning wiederherstellen, birgt jedoch in Kombination mit Augmentierung das Risiko, dass das Training auf Abkürzungsstrategien kollabiert und die Robustheit unerreichbar bleibt. Zusammengenommen unterstreichen diese Ergebnisse die Grenzen von reinen Genauigkeitsbewertungen und motivieren Trainings- und Bewertungsprotokolle, die Korrektheit, Robustheit und die Zuverlässigkeit visuell fundierten Reasonings gleichermaßen betonen.

English

Reinforcement learning (RL) fine-tuning has become a key technique for enhancing large language models (LLMs) on reasoning-intensive tasks, motivating its extension to vision language models (VLMs). While RL-tuned VLMs improve on visual reasoning benchmarks, they remain vulnerable to weak visual grounding, hallucinations, and over-reliance on textual cues. We show that simple, controlled textual perturbations--misleading captions or incorrect chain-of-thought (CoT) traces--cause substantial drops in robustness and confidence, and that these effects are more pronounced when CoT consistency is taken into account across open-source multimodal reasoning models. Entropy-based metrics further show that these perturbations reshape model uncertainty and probability mass on the correct option, exposing model-specific trends in miscalibration. To better understand these vulnerabilities, we further analyze RL fine-tuning dynamics and uncover an accuracy-faithfulness trade-off: fine-tuning raises benchmark accuracy, but can simultaneously erode the reliability of the accompanying CoT and its robustness to contextual shifts. Although adversarial augmentation improves robustness, it does not by itself prevent faithfulness drift. Incorporating a faithfulness-aware reward can restore alignment between answers and reasoning, but when paired with augmentation, training risks collapsing onto shortcut strategies and robustness remains elusive. Together, these findings highlight the limitations of accuracy-only evaluations and motivate training and assessment protocols that jointly emphasize correctness, robustness, and the faithfulness of visually grounded reasoning.

Über die Robustheit und Chain-of-Thought-Konsistenz von RL-feingetuneten VLMs

On Robustness and Chain-of-Thought Consistency of RL-Finetuned VLMs

papers.abstract

Support