Auto Cherry-Picker: Apprendimento da Dati Generativi di Alta Qualità Guidati dal Linguaggio

Auto Cherry-Picker: Learning from High-quality Generative Data Driven by Language

June 28, 2024

Autori: Yicheng Chen, Xiangtai Li, Yining Li, Yanhong Zeng, Jianzong Wu, Xiangyu Zhao, Kai Chen

cs.AI

Abstract

I modelli basati su diffusione hanno dimostrato un grande potenziale nella generazione di immagini di alta qualità con vari layout, il che può beneficiare le attività di percezione a valle. Tuttavia, una generazione completamente automatica di layout guidata solo dal linguaggio e una metrica adatta per misurare più istanze generate non sono state ancora esplorate a fondo. In questo lavoro, presentiamo Auto Cherry-Picker (ACP), un framework innovativo che genera esempi di addestramento multimodali di alta qualità per potenziare la percezione e l'addestramento multimodale. Partendo da una semplice lista di concetti in linguaggio naturale, utilizziamo modelli linguistici di grandi dimensioni (LLM) per generare una descrizione dettagliata e progettare layout ragionevoli. Successivamente, impieghiamo un modello text-to-image predefinito per generare più immagini. Poi, i dati generati vengono raffinati utilizzando una metrica progettata in modo completo per garantire la qualità. In particolare, introduciamo una nuova metrica, Composite Layout and Image Score (CLIS), per valutare in modo equo le immagini generate. I nostri esempi sintetici di alta qualità migliorano le prestazioni in vari scenari personalizzando la lista iniziale di concetti, specialmente nel risolvere le sfide associate alla distribuzione a coda lunga e ai dataset sbilanciati. I risultati sperimentali sulle attività a valle dimostrano che Auto Cherry-Picker può migliorare significativamente le prestazioni dei modelli esistenti. Inoltre, abbiamo approfondito la correlazione tra CLIS e i miglioramenti delle prestazioni nelle attività a valle, e abbiamo scoperto che un punteggio CLIS migliore porta a prestazioni migliori. Questa scoperta evidenzia il potenziale delle metriche di valutazione nel ruolo di varie attività di percezione visiva e MLLM. Il codice sarà disponibile.

English

Diffusion-based models have shown great potential in generating high-quality images with various layouts, which can benefit downstream perception tasks. However, a fully automatic layout generation driven only by language and a suitable metric for measuring multiple generated instances has not been well explored. In this work, we present Auto Cherry-Picker (ACP), a novel framework that generates high-quality multi-modal training examples to augment perception and multi-modal training. Starting with a simple list of natural language concepts, we prompt large language models (LLMs) to generate a detailed description and design reasonable layouts. Next, we use an off-the-shelf text-to-image model to generate multiple images. Then, the generated data are refined using a comprehensively designed metric to ensure quality. In particular, we present a new metric, Composite Layout and Image Score (CLIS), to evaluate the generated images fairly. Our synthetic high-quality examples boost performance in various scenarios by customizing the initial concept list, especially in addressing challenges associated with long-tailed distribution and imbalanced datasets. Experiment results on downstream tasks demonstrate that Auto Cherry-Picker can significantly improve the performance of existing models. In addition, we have thoroughly investigated the correlation between CLIS and performance gains in downstream tasks, and we find that a better CLIS score results in better performance. This finding shows the potential for evaluation metrics as the role for various visual perception and MLLM tasks. Code will be available.