Dalla Testa alla Coda: Verso una Rappresentazione Bilanciata nei Modelli di Visione e Linguaggio su Grande Scala attraverso la Calibrazione Adattiva dei Dati

From Head to Tail: Towards Balanced Representation in Large Vision-Language Models through Adaptive Data Calibration

March 17, 2025

Autori: Mingyang Song, Xiaoye Qu, Jiawei Zhou, Yu Cheng

cs.AI

Abstract

I grandi modelli visione-linguaggio (Large Vision-Language Models, LVLM) hanno compiuto progressi significativi nel combinare la comprensione visiva con la generazione linguistica. Nonostante questo successo, i dati di addestramento degli LVLM continuano a soffrire di problemi di coda lunga (Long-Tail, LT), in cui la distribuzione dei dati è altamente squilibrata. I lavori precedenti si sono principalmente concentrati su architetture VLM tradizionali, come CLIP o ViT, e su compiti specifici come il riconoscimento e la classificazione. Tuttavia, l'esplorazione degli LVLM (ad esempio LLaVA) e di compiti più generali (ad esempio Visual Question Answering e Visual Reasoning) rimane ancora poco approfondita. In questo articolo, conduciamo innanzitutto un'analisi approfondita dei problemi LT negli LVLM e identifichiamo due cause principali: la sovrarappresentazione dei concetti di testa e la sottorappresentazione dei concetti di coda. Sulla base di questa osservazione, proponiamo un Framework di Raffinamento Dati Adattivo (Adaptive Data Refinement Framework, ADR), composto da due fasi: Bilanciamento dei Dati (Data Rebalancing, DR) e Sintesi dei Dati (Data Synthesis, DS). Nella fase DR, bilanciamo in modo adattivo i dati ridondanti in base alle distribuzioni delle entità, mentre nella fase DS sfruttiamo i Modelli Probabilistici di Diffusione Denoising (Denoising Diffusion Probabilistic Models, DDPM) e immagini scarse per integrare le porzioni sottorappresentate. Attraverso valutazioni approfondite su undici benchmark, il nostro ADR proposto mitiga efficacemente il problema della coda lunga nei dati di addestramento, migliorando le prestazioni medie di LLaVA 1.5 del 4,36% in termini relativi, senza aumentare il volume dei dati di addestramento.

English

Large Vision-Language Models (LVLMs) have achieved significant progress in combining visual comprehension with language generation. Despite this success, the training data of LVLMs still suffers from Long-Tail (LT) problems, where the data distribution is highly imbalanced. Previous works have mainly focused on traditional VLM architectures, i.e., CLIP or ViT, and specific tasks such as recognition and classification. Nevertheless, the exploration of LVLM (e.g. LLaVA) and more general tasks (e.g. Visual Question Answering and Visual Reasoning) remains under-explored. In this paper, we first conduct an in-depth analysis of the LT issues in LVLMs and identify two core causes: the overrepresentation of head concepts and the underrepresentation of tail concepts. Based on the above observation, we propose an Adaptive Data Refinement Framework (ADR), which consists of two stages: Data Rebalancing (DR) and Data Synthesis (DS). In the DR stage, we adaptively rebalance the redundant data based on entity distributions, while in the DS stage, we leverage Denoising Diffusion Probabilistic Models (DDPMs) and scarce images to supplement underrepresented portions. Through comprehensive evaluations across eleven benchmarks, our proposed ADR effectively mitigates the long-tail problem in the training data, improving the average performance of LLaVA 1.5 relatively by 4.36%, without increasing the training data volume.