Auto Cherry-Picker: Leren van hoogwaardige generatieve data aangedreven door taal

Auto Cherry-Picker: Learning from High-quality Generative Data Driven by Language

June 28, 2024

Auteurs: Yicheng Chen, Xiangtai Li, Yining Li, Yanhong Zeng, Jianzong Wu, Xiangyu Zhao, Kai Chen

cs.AI

Samenvatting

Diffusie-gebaseerde modellen hebben groot potentieel getoond in het genereren van hoogwaardige afbeeldingen met diverse lay-outs, wat downstream perceptietaken kan bevorderen. Echter, een volledig automatische lay-outgeneratie die alleen wordt aangedreven door taal en een geschikte metriek voor het meten van meerdere gegenereerde instanties is nog niet goed onderzocht. In dit werk presenteren we Auto Cherry-Picker (ACP), een nieuw framework dat hoogwaardige multimodale trainingsvoorbeelden genereert om perceptie en multimodale training te versterken. Beginnend met een eenvoudige lijst van natuurlijke taalconcepten, laten we grote taalmodellen (LLMs) een gedetailleerde beschrijving genereren en redelijke lay-outs ontwerpen. Vervolgens gebruiken we een kant-en-klaar tekst-naar-afbeelding model om meerdere afbeeldingen te genereren. Daarna worden de gegenereerde data verfijnd met behulp van een uitgebreid ontworpen metriek om de kwaliteit te waarborgen. In het bijzonder presenteren we een nieuwe metriek, Composite Layout and Image Score (CLIS), om de gegenereerde afbeeldingen eerlijk te evalueren. Onze synthetische hoogwaardige voorbeelden verbeteren de prestaties in diverse scenario's door de initiële conceptlijst aan te passen, vooral bij het aanpakken van uitdagingen gerelateerd aan long-tailed distributie en onevenwichtige datasets. Experimentele resultaten op downstream taken tonen aan dat Auto Cherry-Picker de prestaties van bestaande modellen aanzienlijk kan verbeteren. Daarnaast hebben we grondig onderzoek gedaan naar de correlatie tussen CLIS en prestatieverbeteringen in downstream taken, en we ontdekken dat een betere CLIS-score resulteert in betere prestaties. Deze bevinding toont het potentieel van evaluatiemetrieken voor diverse visuele perceptie- en MLLM-taken. Code zal beschikbaar worden gesteld.

English

Diffusion-based models have shown great potential in generating high-quality images with various layouts, which can benefit downstream perception tasks. However, a fully automatic layout generation driven only by language and a suitable metric for measuring multiple generated instances has not been well explored. In this work, we present Auto Cherry-Picker (ACP), a novel framework that generates high-quality multi-modal training examples to augment perception and multi-modal training. Starting with a simple list of natural language concepts, we prompt large language models (LLMs) to generate a detailed description and design reasonable layouts. Next, we use an off-the-shelf text-to-image model to generate multiple images. Then, the generated data are refined using a comprehensively designed metric to ensure quality. In particular, we present a new metric, Composite Layout and Image Score (CLIS), to evaluate the generated images fairly. Our synthetic high-quality examples boost performance in various scenarios by customizing the initial concept list, especially in addressing challenges associated with long-tailed distribution and imbalanced datasets. Experiment results on downstream tasks demonstrate that Auto Cherry-Picker can significantly improve the performance of existing models. In addition, we have thoroughly investigated the correlation between CLIS and performance gains in downstream tasks, and we find that a better CLIS score results in better performance. This finding shows the potential for evaluation metrics as the role for various visual perception and MLLM tasks. Code will be available.