От начала до конца: к сбалансированному представлению в крупных моделях обработки зрения и языка через адаптивную калибровку данных

From Head to Tail: Towards Balanced Representation in Large Vision-Language Models through Adaptive Data Calibration

March 17, 2025

Авторы: Mingyang Song, Xiaoye Qu, Jiawei Zhou, Yu Cheng

cs.AI

Аннотация

Крупные модели, объединяющие зрительное восприятие и язык (Large Vision-Language Models, LVLMs), достигли значительного прогресса в сочетании визуального понимания с генерацией текста. Несмотря на этот успех, данные для обучения LVLMs по-прежнему страдают от проблем "длинного хвоста" (Long-Tail, LT), где распределение данных сильно несбалансировано. Предыдущие работы в основном сосредотачивались на традиционных архитектурах VLM, таких как CLIP или ViT, и конкретных задачах, таких как распознавание и классификация. Однако исследование LVLM (например, LLaVA) и более общих задач (например, визуальный вопросно-ответный анализ и визуальное рассуждение) остается недостаточно изученным. В данной статье мы сначала проводим углубленный анализ проблем LT в LVLMs и выявляем две основные причины: чрезмерное представление "головных" концепций и недостаточное представление "хвостовых" концепций. На основе этих наблюдений мы предлагаем Адаптивную структуру уточнения данных (Adaptive Data Refinement Framework, ADR), которая состоит из двух этапов: Ребалансировка данных (Data Rebalancing, DR) и Синтез данных (Data Synthesis, DS). На этапе DR мы адаптивно перебалансируем избыточные данные на основе распределения сущностей, а на этапе DS используем модели вероятностного диффузионного шумоподавления (Denoising Diffusion Probabilistic Models, DDPMs) и редкие изображения для дополнения недостаточно представленных частей. Благодаря всесторонним оценкам на одиннадцати бенчмарках, предложенная нами ADR эффективно смягчает проблему длинного хвоста в данных обучения, улучшая среднюю производительность LLaVA 1.5 относительно на 4,36%, без увеличения объема данных для обучения.

English

Large Vision-Language Models (LVLMs) have achieved significant progress in combining visual comprehension with language generation. Despite this success, the training data of LVLMs still suffers from Long-Tail (LT) problems, where the data distribution is highly imbalanced. Previous works have mainly focused on traditional VLM architectures, i.e., CLIP or ViT, and specific tasks such as recognition and classification. Nevertheless, the exploration of LVLM (e.g. LLaVA) and more general tasks (e.g. Visual Question Answering and Visual Reasoning) remains under-explored. In this paper, we first conduct an in-depth analysis of the LT issues in LVLMs and identify two core causes: the overrepresentation of head concepts and the underrepresentation of tail concepts. Based on the above observation, we propose an Adaptive Data Refinement Framework (ADR), which consists of two stages: Data Rebalancing (DR) and Data Synthesis (DS). In the DR stage, we adaptively rebalance the redundant data based on entity distributions, while in the DS stage, we leverage Denoising Diffusion Probabilistic Models (DDPMs) and scarce images to supplement underrepresented portions. Through comprehensive evaluations across eleven benchmarks, our proposed ADR effectively mitigates the long-tail problem in the training data, improving the average performance of LLaVA 1.5 relatively by 4.36%, without increasing the training data volume.