Treinamento Seletivo para Grandes Modelos de Linguagem Visual por meio de Ganho de Informação Visual
Selective Training for Large Vision Language Models via Visual Information Gain
February 19, 2026
Autores: Seulbi Lee, Sangheum Hwang
cs.AI
Resumo
Os Grandes Modelos de Visão e Linguagem (LVLMs) alcançaram progressos notáveis, mas frequentemente sofrem de viés linguístico, produzindo respostas sem depender de evidências visuais. Embora trabalhos anteriores tentem mitigar esse problema por meio de estratégias de decodificação, modificações arquiteturais ou dados de instrução selecionados, eles geralmente carecem de uma medida quantitativa de quanto amostras ou tokens individuais de treinamento realmente se beneficiam da imagem. Neste trabalho, introduzimos o Ganho de Informação Visual (VIG), uma métrica baseada em perplexidade que mede a redução da incerteza de predição fornecida pela entrada visual. O VIG permite uma análise refinada tanto em nível de amostra quanto de token, destacando efetivamente elementos visualmente fundamentados, como cores, relações espaciais e atributos. Aproveitando isso, propomos um esquema de treinamento seletivo guiado por VIG que prioriza amostras e tokens com alto VIG. Essa abordagem melhora a fundamentação visual e mitiga o viés linguístico, alcançando desempenho superior com supervisão significativamente reduzida ao focar exclusivamente em amostras e tokens visualmente informativos.
English
Large Vision Language Models (LVLMs) have achieved remarkable progress, yet they often suffer from language bias, producing answers without relying on visual evidence. While prior work attempts to mitigate this issue through decoding strategies, architectural modifications, or curated instruction data, they typically lack a quantitative measure of how much individual training samples or tokens actually benefit from the image. In this work, we introduce Visual Information Gain (VIG), a perplexity-based metric that measures the reduction in prediction uncertainty provided by visual input. VIG enables fine-grained analysis at both sample and token levels, effectively highlighting visually grounded elements such as colors, spatial relations, and attributes. Leveraging this, we propose a VIG-guided selective training scheme that prioritizes high-VIG samples and tokens. This approach improves visual grounding and mitigates language bias, achieving superior performance with significantly reduced supervision by focusing exclusively on visually informative samples and tokens.