Da Cabeça à Cauda: Rumo à Representação Equilibrada em Grandes Modelos de Visão e Linguagem por meio de Calibração Adaptativa de Dados

From Head to Tail: Towards Balanced Representation in Large Vision-Language Models through Adaptive Data Calibration

March 17, 2025

Autores: Mingyang Song, Xiaoye Qu, Jiawei Zhou, Yu Cheng

cs.AI

Resumo

Os Grandes Modelos de Visão e Linguagem (LVLMs, na sigla em inglês) alcançaram progressos significativos na combinação de compreensão visual com geração de linguagem. Apesar desse sucesso, os dados de treinamento dos LVLMs ainda sofrem com problemas de Cauda Longa (LT, na sigla em inglês), onde a distribuição dos dados é altamente desbalanceada. Trabalhos anteriores focaram principalmente em arquiteturas tradicionais de VLMs, como CLIP ou ViT, e em tarefas específicas, como reconhecimento e classificação. No entanto, a exploração de LVLMs (por exemplo, LLaVA) e tarefas mais gerais (como Resposta a Perguntas Visuais e Raciocínio Visual) permanece pouco explorada. Neste artigo, primeiro realizamos uma análise aprofundada dos problemas de LT em LVLMs e identificamos duas causas principais: a super-representação de conceitos da "cabeça" e a sub-representação de conceitos da "cauda". Com base nessa observação, propomos um Framework de Refinamento de Dados Adaptativo (ADR, na sigla em inglês), que consiste em duas etapas: Rebalanceamento de Dados (DR, na sigla em inglês) e Síntese de Dados (DS, na sigla em inglês). Na etapa de DR, rebalanceamos adaptativamente os dados redundantes com base nas distribuições de entidades, enquanto na etapa de DS, utilizamos Modelos de Difusão Probabilística de Remoção de Ruído (DDPMs, na sigla em inglês) e imagens escassas para complementar as porções sub-representadas. Por meio de avaliações abrangentes em onze benchmarks, nosso ADR proposto mitiga efetivamente o problema de cauda longa nos dados de treinamento, melhorando o desempenho médio do LLaVA 1.5 relativamente em 4,36%, sem aumentar o volume de dados de treinamento.

English

Large Vision-Language Models (LVLMs) have achieved significant progress in combining visual comprehension with language generation. Despite this success, the training data of LVLMs still suffers from Long-Tail (LT) problems, where the data distribution is highly imbalanced. Previous works have mainly focused on traditional VLM architectures, i.e., CLIP or ViT, and specific tasks such as recognition and classification. Nevertheless, the exploration of LVLM (e.g. LLaVA) and more general tasks (e.g. Visual Question Answering and Visual Reasoning) remains under-explored. In this paper, we first conduct an in-depth analysis of the LT issues in LVLMs and identify two core causes: the overrepresentation of head concepts and the underrepresentation of tail concepts. Based on the above observation, we propose an Adaptive Data Refinement Framework (ADR), which consists of two stages: Data Rebalancing (DR) and Data Synthesis (DS). In the DR stage, we adaptively rebalance the redundant data based on entity distributions, while in the DS stage, we leverage Denoising Diffusion Probabilistic Models (DDPMs) and scarce images to supplement underrepresented portions. Through comprehensive evaluations across eleven benchmarks, our proposed ADR effectively mitigates the long-tail problem in the training data, improving the average performance of LLaVA 1.5 relatively by 4.36%, without increasing the training data volume.