ChatPaper.aiChatPaper

Van Hoof tot Staart: Naar een Gebalanceerde Representatie in Grote Visie-Taalmodellen via Adaptieve Datakalibratie

From Head to Tail: Towards Balanced Representation in Large Vision-Language Models through Adaptive Data Calibration

March 17, 2025
Auteurs: Mingyang Song, Xiaoye Qu, Jiawei Zhou, Yu Cheng
cs.AI

Samenvatting

Grote Vision-Taalmodellen (LVLMs) hebben aanzienlijke vooruitgang geboekt in het combineren van visueel begrip met taalgeneratie. Ondanks dit succes lijdt de trainingsdata van LVLMs nog steeds aan Long-Tail (LT) problemen, waarbij de dataverdeling sterk onevenwichtig is. Eerdere werken hebben zich voornamelijk gericht op traditionele VLM-architecturen, zoals CLIP of ViT, en specifieke taken zoals herkenning en classificatie. Desalniettemin blijft de verkenning van LVLM (bijv. LLaVA) en meer algemene taken (bijv. Visuele Vraagbeantwoording en Visueel Redeneren) onderbelicht. In dit artikel voeren we eerst een diepgaande analyse uit van de LT-problemen in LVLMs en identificeren we twee kernoorzaken: de overrepresentatie van hoofdconcepten en de onderrepresentatie van staartconcepten. Op basis van deze observatie stellen we een Adaptief Dataverfijningsraamwerk (ADR) voor, dat uit twee fasen bestaat: Dataherbalancering (DR) en Datasynthese (DS). In de DR-fase balanceren we de redundante data adaptief op basis van entiteitsverdelingen, terwijl we in de DS-fase Denoising Diffusion Probabilistic Models (DDPMs) en schaarse afbeeldingen gebruiken om ondervertegenwoordigde delen aan te vullen. Door middel van uitgebreide evaluaties over elf benchmarks blijkt dat ons voorgestelde ADR effectief het long-tail probleem in de trainingsdata vermindert, waardoor de gemiddelde prestaties van LLaVA 1.5 relatief met 4,36% verbeteren, zonder het volume van de trainingsdata te vergroten.
English
Large Vision-Language Models (LVLMs) have achieved significant progress in combining visual comprehension with language generation. Despite this success, the training data of LVLMs still suffers from Long-Tail (LT) problems, where the data distribution is highly imbalanced. Previous works have mainly focused on traditional VLM architectures, i.e., CLIP or ViT, and specific tasks such as recognition and classification. Nevertheless, the exploration of LVLM (e.g. LLaVA) and more general tasks (e.g. Visual Question Answering and Visual Reasoning) remains under-explored. In this paper, we first conduct an in-depth analysis of the LT issues in LVLMs and identify two core causes: the overrepresentation of head concepts and the underrepresentation of tail concepts. Based on the above observation, we propose an Adaptive Data Refinement Framework (ADR), which consists of two stages: Data Rebalancing (DR) and Data Synthesis (DS). In the DR stage, we adaptively rebalance the redundant data based on entity distributions, while in the DS stage, we leverage Denoising Diffusion Probabilistic Models (DDPMs) and scarce images to supplement underrepresented portions. Through comprehensive evaluations across eleven benchmarks, our proposed ADR effectively mitigates the long-tail problem in the training data, improving the average performance of LLaVA 1.5 relatively by 4.36%, without increasing the training data volume.

Summary

AI-Generated Summary

PDF92March 24, 2025