Addestramento Selettivo per Grandi Modelli Linguistici Visivi tramite Guadagno di Informazione Visiva

Selective Training for Large Vision Language Models via Visual Information Gain

February 19, 2026

Autori: Seulbi Lee, Sangheum Hwang

cs.AI

Abstract

I modelli linguistici di grandi dimensioni con capacità visive (LVLM) hanno conseguito progressi notevoli, ma spesso soffrono di distorsione linguistica, producendo risposte senza fare affidamento sull'evidenza visiva. Sebbene i lavori precedenti tentino di mitigare questo problema attraverso strategie di decodifica, modifiche architetturali o dati di istruzione selezionati, tipicamente mancano di una misura quantitativa di quanto i singoli campioni di addestramento o token traggano effettivo beneficio dall'immagine. In questo lavoro, introduciamo il Guadagno di Informazione Visiva (VIG), una metrica basata sulla perplessità che misura la riduzione dell'incertezza predittiva fornita dall'input visivo. Il VIG consente un'analisi granulare sia a livello di campione che di token, evidenziando efficacemente elementi visivamente fondati come colori, relazioni spaziali e attributi. Sfruttando ciò, proponiamo uno schema di addestramento selettivo guidato dal VIG che dà priorità a campioni e token ad alto VIG. Questo approccio migliora il grounding visivo e mitiga la distorsione linguistica, raggiungendo prestazioni superiori con una supervisione significativamente ridotta, concentrandosi esclusivamente su campioni e token visivamente informativi.

English

Large Vision Language Models (LVLMs) have achieved remarkable progress, yet they often suffer from language bias, producing answers without relying on visual evidence. While prior work attempts to mitigate this issue through decoding strategies, architectural modifications, or curated instruction data, they typically lack a quantitative measure of how much individual training samples or tokens actually benefit from the image. In this work, we introduce Visual Information Gain (VIG), a perplexity-based metric that measures the reduction in prediction uncertainty provided by visual input. VIG enables fine-grained analysis at both sample and token levels, effectively highlighting visually grounded elements such as colors, spatial relations, and attributes. Leveraging this, we propose a VIG-guided selective training scheme that prioritizes high-VIG samples and tokens. This approach improves visual grounding and mitigates language bias, achieving superior performance with significantly reduced supervision by focusing exclusively on visually informative samples and tokens.