Селективное обучение больших визуально-языковых моделей на основе визуального информационного прироста

Selective Training for Large Vision Language Models via Visual Information Gain

February 19, 2026

Авторы: Seulbi Lee, Sangheum Hwang

cs.AI

Аннотация

Крупные визуально-языковые модели (LVLM) демонстрируют значительный прогресс, однако они часто страдают от языкового смещения, формируя ответы без опоры на визуальные данные. В то время как предыдущие исследования пытались смягчить эту проблему с помощью стратегий декодирования, архитектурных изменений или тщательно отобранных обучающих данных, они, как правило, не имели количественной меры того, насколько отдельные обучающие примеры или токены фактически используют изображение. В данной работе мы представляем Визуальный Информационный Прирост (VIG) — метрику, основанную на перплексии, которая измеряет снижение неопределенности прогноза благодаря визуальному входу. VIG позволяет проводить детальный анализ на уровне как примеров, так и отдельных токенов, эффективно выделяя визуально обоснованные элементы, такие как цвета, пространственные отношения и атрибуты. Используя это, мы предлагаем схему избирательного обучения, управляемую VIG, которая отдает приоритет примерам и токенам с высоким значением VIG. Этот подход улучшает визуальную обоснованность и снижает языковое смещение, достигая превосходной производительности при значительном сокращении объема контроля за счет фокусировки исключительно на визуально информативных примерах и токенах.

English

Large Vision Language Models (LVLMs) have achieved remarkable progress, yet they often suffer from language bias, producing answers without relying on visual evidence. While prior work attempts to mitigate this issue through decoding strategies, architectural modifications, or curated instruction data, they typically lack a quantitative measure of how much individual training samples or tokens actually benefit from the image. In this work, we introduce Visual Information Gain (VIG), a perplexity-based metric that measures the reduction in prediction uncertainty provided by visual input. VIG enables fine-grained analysis at both sample and token levels, effectively highlighting visually grounded elements such as colors, spatial relations, and attributes. Leveraging this, we propose a VIG-guided selective training scheme that prioritizes high-VIG samples and tokens. This approach improves visual grounding and mitigates language bias, achieving superior performance with significantly reduced supervision by focusing exclusively on visually informative samples and tokens.