Selecionador Automático de Cereja: Aprendizado a partir de Dados Generativos de Alta Qualidade Impulsionados por Linguagem

Auto Cherry-Picker: Learning from High-quality Generative Data Driven by Language

June 28, 2024

Autores: Yicheng Chen, Xiangtai Li, Yining Li, Yanhong Zeng, Jianzong Wu, Xiangyu Zhao, Kai Chen

cs.AI

Resumo

Os modelos baseados em difusão têm mostrado grande potencial na geração de imagens de alta qualidade com vários layouts, o que pode beneficiar tarefas de percepção subsequentes. No entanto, a geração totalmente automática de layout impulsionada apenas pela linguagem e uma métrica adequada para medir múltiplas instâncias geradas não foi bem explorada. Neste trabalho, apresentamos o Auto Cherry-Picker (ACP), um novo framework que gera exemplos de treinamento multimodais de alta qualidade para aumentar a percepção e o treinamento multimodal. Começando com uma simples lista de conceitos em linguagem natural, solicitamos a modelos de linguagem de grande escala (LLMs) que gerem uma descrição detalhada e projetem layouts razoáveis. Em seguida, utilizamos um modelo texto-imagem pronto para gerar várias imagens. Posteriormente, os dados gerados são refinados usando uma métrica abrangente projetada para garantir qualidade. Em particular, apresentamos uma nova métrica, Escore de Layout e Imagem Composto (CLIS), para avaliar as imagens geradas de forma justa. Nossos exemplos sintéticos de alta qualidade impulsionam o desempenho em vários cenários ao personalizar a lista de conceitos inicial, especialmente ao lidar com desafios associados à distribuição de longa cauda e conjuntos de dados desequilibrados. Resultados experimentais em tarefas subsequentes demonstram que o Auto Cherry-Picker pode melhorar significativamente o desempenho de modelos existentes. Além disso, investigamos minuciosamente a correlação entre o CLIS e os ganhos de desempenho em tarefas subsequentes, e constatamos que um melhor escore de CLIS resulta em melhor desempenho. Essa descoberta mostra o potencial das métricas de avaliação como papel em várias tarefas de percepção visual e MLLM. O código estará disponível.

English

Diffusion-based models have shown great potential in generating high-quality images with various layouts, which can benefit downstream perception tasks. However, a fully automatic layout generation driven only by language and a suitable metric for measuring multiple generated instances has not been well explored. In this work, we present Auto Cherry-Picker (ACP), a novel framework that generates high-quality multi-modal training examples to augment perception and multi-modal training. Starting with a simple list of natural language concepts, we prompt large language models (LLMs) to generate a detailed description and design reasonable layouts. Next, we use an off-the-shelf text-to-image model to generate multiple images. Then, the generated data are refined using a comprehensively designed metric to ensure quality. In particular, we present a new metric, Composite Layout and Image Score (CLIS), to evaluate the generated images fairly. Our synthetic high-quality examples boost performance in various scenarios by customizing the initial concept list, especially in addressing challenges associated with long-tailed distribution and imbalanced datasets. Experiment results on downstream tasks demonstrate that Auto Cherry-Picker can significantly improve the performance of existing models. In addition, we have thoroughly investigated the correlation between CLIS and performance gains in downstream tasks, and we find that a better CLIS score results in better performance. This finding shows the potential for evaluation metrics as the role for various visual perception and MLLM tasks. Code will be available.