大規模視覚言語モデルのための視覚情報ゲインに基づく選択的学習

要旨

大規模視覚言語モデル（LVLM）は目覚ましい進歩を遂げているが、視覚的証拠に依存せずに回答を生成する「言語バイアス」に悩まされることが多い。従来の研究は、デコーディング戦略、アーキテクチャ変更、または精選された指示データを通じてこの問題の緩和を試みてきたが、個々の訓練サンプルやトークンが画像から実際にどれだけ恩恵を受けているかを定量的に測定する手法は一般的に欠如していた。本研究では、視覚入力を通じて得られる予測の不確実性の低減を測定する、パープレキシティに基づく指標「視覚情報ゲイン（VIG）」を提案する。VIGはサンプルレベルおよびトークンレベルでの詳細な分析を可能にし、色、空間関係、属性などの視覚に基づいた要素を効果的に浮き彫りにする。これを活用し、高VIGのサンプルとトークンを優先するVIG誘導型選択的訓練スキームを提案する。このアプローチは、視覚的に情報量の多いサンプルとトークンに焦点を当てることで、視覚的接地を改善し言語バイアスを軽減し、監督データ量を大幅に削減しながら優れた性能を達成する。

English

Large Vision Language Models (LVLMs) have achieved remarkable progress, yet they often suffer from language bias, producing answers without relying on visual evidence. While prior work attempts to mitigate this issue through decoding strategies, architectural modifications, or curated instruction data, they typically lack a quantitative measure of how much individual training samples or tokens actually benefit from the image. In this work, we introduce Visual Information Gain (VIG), a perplexity-based metric that measures the reduction in prediction uncertainty provided by visual input. VIG enables fine-grained analysis at both sample and token levels, effectively highlighting visually grounded elements such as colors, spatial relations, and attributes. Leveraging this, we propose a VIG-guided selective training scheme that prioritizes high-VIG samples and tokens. This approach improves visual grounding and mitigates language bias, achieving superior performance with significantly reduced supervision by focusing exclusively on visually informative samples and tokens.

大規模視覚言語モデルのための視覚情報ゲインに基づく選択的学習

Selective Training for Large Vision Language Models via Visual Information Gain

要旨

Support