Auto Cherry-Picker: Aprendizaje a partir de datos generativos de alta calidad impulsados por lenguaje

Auto Cherry-Picker: Learning from High-quality Generative Data Driven by Language

June 28, 2024

Autores: Yicheng Chen, Xiangtai Li, Yining Li, Yanhong Zeng, Jianzong Wu, Xiangyu Zhao, Kai Chen

cs.AI

Resumen

Los modelos basados en difusión han demostrado un gran potencial en la generación de imágenes de alta calidad con diversos diseños, lo que puede beneficiar tareas de percepción posteriores. Sin embargo, la generación automática de diseños impulsada únicamente por lenguaje y una métrica adecuada para medir múltiples instancias generadas no ha sido bien explorada. En este trabajo, presentamos Auto Cherry-Picker (ACP), un marco novedoso que genera ejemplos de entrenamiento multimodal de alta calidad para mejorar la percepción y el entrenamiento multimodal. Comenzando con una simple lista de conceptos en lenguaje natural, utilizamos modelos de lenguaje grandes (LLMs) para generar una descripción detallada y diseñar diseños razonables. Luego, empleamos un modelo de texto a imagen disponible para generar múltiples imágenes. Posteriormente, los datos generados se refinan utilizando una métrica diseñada de manera integral para garantizar la calidad. En particular, presentamos una nueva métrica, Composite Layout and Image Score (CLIS), para evaluar de manera justa las imágenes generadas. Nuestros ejemplos sintéticos de alta calidad mejoran el rendimiento en diversos escenarios al personalizar la lista inicial de conceptos, especialmente al abordar desafíos asociados con la distribución de cola larga y conjuntos de datos desequilibrados. Los resultados experimentales en tareas posteriores demuestran que Auto Cherry-Picker puede mejorar significativamente el rendimiento de los modelos existentes. Además, hemos investigado exhaustivamente la correlación entre CLIS y las mejoras de rendimiento en tareas posteriores, y encontramos que un mejor puntaje CLIS resulta en un mejor rendimiento. Este hallazgo muestra el potencial de las métricas de evaluación en el papel para diversas tareas de percepción visual y MLLM. El código estará disponible.

English

Diffusion-based models have shown great potential in generating high-quality images with various layouts, which can benefit downstream perception tasks. However, a fully automatic layout generation driven only by language and a suitable metric for measuring multiple generated instances has not been well explored. In this work, we present Auto Cherry-Picker (ACP), a novel framework that generates high-quality multi-modal training examples to augment perception and multi-modal training. Starting with a simple list of natural language concepts, we prompt large language models (LLMs) to generate a detailed description and design reasonable layouts. Next, we use an off-the-shelf text-to-image model to generate multiple images. Then, the generated data are refined using a comprehensively designed metric to ensure quality. In particular, we present a new metric, Composite Layout and Image Score (CLIS), to evaluate the generated images fairly. Our synthetic high-quality examples boost performance in various scenarios by customizing the initial concept list, especially in addressing challenges associated with long-tailed distribution and imbalanced datasets. Experiment results on downstream tasks demonstrate that Auto Cherry-Picker can significantly improve the performance of existing models. In addition, we have thoroughly investigated the correlation between CLIS and performance gains in downstream tasks, and we find that a better CLIS score results in better performance. This finding shows the potential for evaluation metrics as the role for various visual perception and MLLM tasks. Code will be available.