推論分解による自己報酬型視覚言語モデル

要旨

Vision-Language Models（VLM）は、しばしば視覚的幻覚（画像に実際には存在しない内容を述べる）と言語的ショートカット（視覚部分をスキップしてテキストの事前知識に依存する）に悩まされます。これらの問題は、VLMのほとんどのポストトレーニング手法が単純な検証可能な回答マッチングに依存し、最終出力のみを監督するため、中間的な視覚的推論に明示的なガイダンスが与えられないことに起因します。その結果、VLMは視覚信号を疎に受け取り、視覚的知覚よりも言語ベースの推論を優先する傾向があります。これを緩和するため、既存の手法では人間のアノテーションや外部の大規模モデルから蒸留したラベルを使用して視覚的監督を追加しています。しかし、人間のアノテーションは労力とコストがかかり、外部信号は進化するポリシーに適応できないため、分布シフトを引き起こし、報酬ハッキングを招く可能性があります。本論文では、外部の視覚的監督に依存せず、強化学習を通じて視覚的推論を改善する自己報酬型手法「Vision-SR1」を提案します。Vision-SR1は、VLMの推論を視覚的知覚と言語的推論の2段階に分解します。まず、モデルに自己完結した視覚的知覚を生成させ、入力画像を参照せずに質問に答えるのに十分な内容を提示させます。この自己完結性を検証するため、同じVLMモデルを再プロンプトし、生成された知覚のみを入力として言語的推論を行い、報酬を計算します。この自己報酬は最終出力の監督と組み合わされ、視覚的知覚と言語的推論の両方を強化するバランスの取れたトレーニング信号を提供します。実験結果は、Vision-SR1が多様な視覚言語タスクにおいて視覚的推論を改善し、視覚的幻覚を緩和し、言語的ショートカットへの依存を軽減することを示しています。

English

Vision-Language Models (VLMs) often suffer from visual hallucinations, saying things that are not actually in the image, and language shortcuts, where they skip the visual part and just rely on text priors. These issues arise because most post-training methods for VLMs rely on simple verifiable answer matching and supervise only final outputs, leaving intermediate visual reasoning without explicit guidance. As a result, VLMs receive sparse visual signals and often learn to prioritize language-based reasoning over visual perception. To mitigate this, some existing methods add visual supervision using human annotations or distilled labels from external large models. However, human annotations are labor-intensive and costly, and because external signals cannot adapt to the evolving policy, they cause distributional shifts that can lead to reward hacking. In this paper, we introduce Vision-SR1, a self-rewarding method that improves visual reasoning without relying on external visual supervisions via reinforcement learning. Vision-SR1 decomposes VLM reasoning into two stages: visual perception and language reasoning. The model is first prompted to produce self-contained visual perceptions that are sufficient to answer the question without referring back the input image. To validate this self-containment, the same VLM model is then re-prompted to perform language reasoning using only the generated perception as input to compute reward. This self-reward is combined with supervision on final outputs, providing a balanced training signal that strengthens both visual perception and language reasoning. Our experiments demonstrate that Vision-SR1 improves visual reasoning, mitigates visual hallucinations, and reduces reliance on language shortcuts across diverse vision-language tasks.

推論分解による自己報酬型視覚言語モデル

Self-Rewarding Vision-Language Model via Reasoning Decomposition

要旨

Support