De la tête à la queue : Vers une représentation équilibrée dans les grands modèles vision-langage grâce à une calibration adaptative des données

From Head to Tail: Towards Balanced Representation in Large Vision-Language Models through Adaptive Data Calibration

March 17, 2025

Auteurs: Mingyang Song, Xiaoye Qu, Jiawei Zhou, Yu Cheng

cs.AI

Résumé

Les grands modèles vision-langage (Large Vision-Language Models, LVLMs) ont réalisé des progrès significatifs dans la combinaison de la compréhension visuelle et de la génération de langage. Malgré ces succès, les données d'entraînement des LVLMs souffrent toujours de problèmes de distribution à longue traîne (Long-Tail, LT), où la distribution des données est fortement déséquilibrée. Les travaux précédents se sont principalement concentrés sur les architectures traditionnelles de modèles vision-langage, comme CLIP ou ViT, et sur des tâches spécifiques telles que la reconnaissance et la classification. Cependant, l'exploration des LVLMs (par exemple, LLaVA) et des tâches plus générales (comme le question-réponse visuel et le raisonnement visuel) reste insuffisamment étudiée. Dans cet article, nous menons d'abord une analyse approfondie des problèmes de longue traîne dans les LVLMs et identifions deux causes principales : la surreprésentation des concepts de tête et la sous-représentation des concepts de queue. Sur la base de cette observation, nous proposons un cadre de raffinement adaptatif des données (Adaptive Data Refinement Framework, ADR), qui se compose de deux étapes : le rééquilibrage des données (Data Rebalancing, DR) et la synthèse des données (Data Synthesis, DS). Dans l'étape DR, nous rééquilibrons de manière adaptative les données redondantes en fonction des distributions d'entités, tandis que dans l'étape DS, nous exploitons les modèles de diffusion probabiliste débruiteurs (Denoising Diffusion Probabilistic Models, DDPMs) et les images rares pour compléter les parties sous-représentées. Grâce à des évaluations approfondies sur onze benchmarks, notre cadre ADR atténue efficacement le problème de longue traîne dans les données d'entraînement, améliorant la performance moyenne de LLaVA 1.5 de manière relative de 4,36 %, sans augmenter le volume des données d'entraînement.

English

Large Vision-Language Models (LVLMs) have achieved significant progress in combining visual comprehension with language generation. Despite this success, the training data of LVLMs still suffers from Long-Tail (LT) problems, where the data distribution is highly imbalanced. Previous works have mainly focused on traditional VLM architectures, i.e., CLIP or ViT, and specific tasks such as recognition and classification. Nevertheless, the exploration of LVLM (e.g. LLaVA) and more general tasks (e.g. Visual Question Answering and Visual Reasoning) remains under-explored. In this paper, we first conduct an in-depth analysis of the LT issues in LVLMs and identify two core causes: the overrepresentation of head concepts and the underrepresentation of tail concepts. Based on the above observation, we propose an Adaptive Data Refinement Framework (ADR), which consists of two stages: Data Rebalancing (DR) and Data Synthesis (DS). In the DR stage, we adaptively rebalance the redundant data based on entity distributions, while in the DS stage, we leverage Denoising Diffusion Probabilistic Models (DDPMs) and scarce images to supplement underrepresented portions. Through comprehensive evaluations across eleven benchmarks, our proposed ADR effectively mitigates the long-tail problem in the training data, improving the average performance of LLaVA 1.5 relatively by 4.36%, without increasing the training data volume.