De la cabeza a la cola: Hacia una representación equilibrada en modelos grandes de visión y lenguaje mediante calibración adaptativa de datos

From Head to Tail: Towards Balanced Representation in Large Vision-Language Models through Adaptive Data Calibration

March 17, 2025

Autores: Mingyang Song, Xiaoye Qu, Jiawei Zhou, Yu Cheng

cs.AI

Resumen

Los Modelos de Visión y Lenguaje a Gran Escala (LVLMs, por sus siglas en inglés) han logrado avances significativos en la combinación de la comprensión visual con la generación de lenguaje. A pesar de este éxito, los datos de entrenamiento de los LVLMs aún sufren problemas de Distribución de Cola Larga (LT, por sus siglas en inglés), donde la distribución de datos está altamente desequilibrada. Trabajos anteriores se han centrado principalmente en arquitecturas tradicionales de VLM, como CLIP o ViT, y en tareas específicas como reconocimiento y clasificación. Sin embargo, la exploración de LVLM (por ejemplo, LLaVA) y tareas más generales (por ejemplo, Respuesta a Preguntas Visuales y Razonamiento Visual) sigue siendo insuficiente. En este artículo, primero realizamos un análisis en profundidad de los problemas de LT en los LVLMs e identificamos dos causas principales: la sobrerrepresentación de conceptos principales y la subrepresentación de conceptos de cola. Basándonos en la observación anterior, proponemos un Marco de Refinamiento de Datos Adaptativo (ADR, por sus siglas en inglés), que consta de dos etapas: Reequilibrio de Datos (DR, por sus siglas en inglés) y Síntesis de Datos (DS, por sus siglas en inglés). En la etapa de DR, reequilibramos adaptativamente los datos redundantes según las distribuciones de entidades, mientras que en la etapa de DS, aprovechamos los Modelos de Difusión Probabilística de Eliminación de Ruido (DDPMs, por sus siglas en inglés) y las imágenes escasas para complementar las porciones subrepresentadas. A través de evaluaciones exhaustivas en once benchmarks, nuestro ADR propuesto mitiga eficazmente el problema de cola larga en los datos de entrenamiento, mejorando el rendimiento promedio de LLaVA 1.5 en un 4.36% relativo, sin aumentar el volumen de datos de entrenamiento.

English

Large Vision-Language Models (LVLMs) have achieved significant progress in combining visual comprehension with language generation. Despite this success, the training data of LVLMs still suffers from Long-Tail (LT) problems, where the data distribution is highly imbalanced. Previous works have mainly focused on traditional VLM architectures, i.e., CLIP or ViT, and specific tasks such as recognition and classification. Nevertheless, the exploration of LVLM (e.g. LLaVA) and more general tasks (e.g. Visual Question Answering and Visual Reasoning) remains under-explored. In this paper, we first conduct an in-depth analysis of the LT issues in LVLMs and identify two core causes: the overrepresentation of head concepts and the underrepresentation of tail concepts. Based on the above observation, we propose an Adaptive Data Refinement Framework (ADR), which consists of two stages: Data Rebalancing (DR) and Data Synthesis (DS). In the DR stage, we adaptively rebalance the redundant data based on entity distributions, while in the DS stage, we leverage Denoising Diffusion Probabilistic Models (DDPMs) and scarce images to supplement underrepresented portions. Through comprehensive evaluations across eleven benchmarks, our proposed ADR effectively mitigates the long-tail problem in the training data, improving the average performance of LLaVA 1.5 relatively by 4.36%, without increasing the training data volume.