Entrenamiento Selectivo para Grandes Modelos de Lenguaje Visual mediante la Ganancia de Información Visual
Selective Training for Large Vision Language Models via Visual Information Gain
February 19, 2026
Autores: Seulbi Lee, Sangheum Hwang
cs.AI
Resumen
Los Grandes Modelos de Lenguaje y Visión (LVLM) han logrado avances notables, pero a menudo adolecen de sesgo lingüístico, generando respuestas sin basarse en la evidencia visual. Si bien trabajos previos han intentado mitigar este problema mediante estrategias de decodificación, modificaciones arquitectónicas o datos de instrucción seleccionados, generalmente carecen de una medida cuantitativa de cuánto se benefician realmente las muestras de entrenamiento individuales o los tokens de la imagen. En este trabajo, presentamos la Ganancia de Información Visual (VIG), una métrica basada en perplejidad que mide la reducción en la incertidumbre de predicción proporcionada por la entrada visual. VIG permite un análisis detallado tanto a nivel de muestra como de token, destacando efectivamente elementos visualmente fundamentados como colores, relaciones espaciales y atributos. Aprovechando esto, proponemos un esquema de entrenamiento selectivo guiado por VIG que prioriza muestras y tokens con alto VIG. Este enfoque mejora la fundamentación visual y mitiga el sesgo lingüístico, logrando un rendimiento superior con una supervisión significativamente reducida al centrarse exclusivamente en muestras y tokens visualmente informativos.
English
Large Vision Language Models (LVLMs) have achieved remarkable progress, yet they often suffer from language bias, producing answers without relying on visual evidence. While prior work attempts to mitigate this issue through decoding strategies, architectural modifications, or curated instruction data, they typically lack a quantitative measure of how much individual training samples or tokens actually benefit from the image. In this work, we introduce Visual Information Gain (VIG), a perplexity-based metric that measures the reduction in prediction uncertainty provided by visual input. VIG enables fine-grained analysis at both sample and token levels, effectively highlighting visually grounded elements such as colors, spatial relations, and attributes. Leveraging this, we propose a VIG-guided selective training scheme that prioritizes high-VIG samples and tokens. This approach improves visual grounding and mitigates language bias, achieving superior performance with significantly reduced supervision by focusing exclusively on visually informative samples and tokens.