Auto Cherry-Picker : Apprentissage à partir de données génératives de haute qualité pilotées par le langage

Auto Cherry-Picker: Learning from High-quality Generative Data Driven by Language

June 28, 2024

papers.authors: Yicheng Chen, Xiangtai Li, Yining Li, Yanhong Zeng, Jianzong Wu, Xiangyu Zhao, Kai Chen

cs.AI

papers.abstract

Les modèles basés sur la diffusion ont démontré un grand potentiel dans la génération d'images de haute qualité avec diverses compositions, ce qui peut bénéficier aux tâches de perception en aval. Cependant, une génération de composition entièrement automatique pilotée uniquement par le langage et une métrique appropriée pour mesurer plusieurs instances générées n'ont pas été bien explorées. Dans ce travail, nous présentons Auto Cherry-Picker (ACP), un cadre novateur qui génère des exemples d'entraînement multimodaux de haute qualité pour enrichir la perception et l'entraînement multimodal. En partant d'une simple liste de concepts en langage naturel, nous incitons des modèles de langage de grande taille (LLM) à générer une description détaillée et à concevoir des compositions raisonnables. Ensuite, nous utilisons un modèle prêt à l'emploi de texte-à-image pour générer plusieurs images. Puis, les données générées sont affinées à l'aide d'une métrique soigneusement conçue pour garantir la qualité. En particulier, nous présentons une nouvelle métrique, le Score Composite de Composition et d'Image (CLIS), pour évaluer équitablement les images générées. Nos exemples synthétiques de haute qualité améliorent les performances dans divers scénarios en personnalisant la liste initiale de concepts, notamment pour relever les défis associés à la distribution à longue traîne et aux ensembles de données déséquilibrés. Les résultats d'expériences sur les tâches en aval démontrent qu'Auto Cherry-Picker peut significativement améliorer les performances des modèles existants. De plus, nous avons approfondi la corrélation entre le CLIS et les gains de performance dans les tâches en aval, et nous constatons qu'un meilleur score CLIS entraîne de meilleures performances. Cette découverte montre le potentiel des métriques d'évaluation pour divers tâches de perception visuelle et de MLLM. Le code sera disponible.

English

Diffusion-based models have shown great potential in generating high-quality images with various layouts, which can benefit downstream perception tasks. However, a fully automatic layout generation driven only by language and a suitable metric for measuring multiple generated instances has not been well explored. In this work, we present Auto Cherry-Picker (ACP), a novel framework that generates high-quality multi-modal training examples to augment perception and multi-modal training. Starting with a simple list of natural language concepts, we prompt large language models (LLMs) to generate a detailed description and design reasonable layouts. Next, we use an off-the-shelf text-to-image model to generate multiple images. Then, the generated data are refined using a comprehensively designed metric to ensure quality. In particular, we present a new metric, Composite Layout and Image Score (CLIS), to evaluate the generated images fairly. Our synthetic high-quality examples boost performance in various scenarios by customizing the initial concept list, especially in addressing challenges associated with long-tailed distribution and imbalanced datasets. Experiment results on downstream tasks demonstrate that Auto Cherry-Picker can significantly improve the performance of existing models. In addition, we have thoroughly investigated the correlation between CLIS and performance gains in downstream tasks, and we find that a better CLIS score results in better performance. This finding shows the potential for evaluation metrics as the role for various visual perception and MLLM tasks. Code will be available.