자동 체리 피커: 언어 기반 고품질 생성 데이터로부터 학습

Auto Cherry-Picker: Learning from High-quality Generative Data Driven by Language

June 28, 2024

저자: Yicheng Chen, Xiangtai Li, Yining Li, Yanhong Zeng, Jianzong Wu, Xiangyu Zhao, Kai Chen

cs.AI

초록

디퓨전 기반 모델들은 다양한 레이아웃을 가진 고품질 이미지를 생성하는 데 있어 큰 잠재력을 보여주었으며, 이는 하류 인식 작업에 도움을 줄 수 있습니다. 그러나 언어만으로 구동되는 완전 자동 레이아웃 생성과 여러 생성된 인스턴스를 측정하기 위한 적절한 메트릭은 아직 충분히 탐구되지 않았습니다. 본 연구에서는 Auto Cherry-Picker (ACP)라는 새로운 프레임워크를 제안하며, 이는 고품질의 다중 모드 훈련 예제를 생성하여 인식 및 다중 모드 훈련을 증강시킵니다. 간단한 자연어 개념 목록으로 시작하여, 우리는 대형 언어 모델(LLM)을 사용하여 상세한 설명을 생성하고 합리적인 레이아웃을 설계합니다. 다음으로, 기성 텍스트-이미지 모델을 사용하여 여러 이미지를 생성합니다. 그런 다음, 생성된 데이터는 품질을 보장하기 위해 종합적으로 설계된 메트릭을 사용하여 정제됩니다. 특히, 우리는 생성된 이미지를 공정하게 평가하기 위해 새로운 메트릭인 Composite Layout and Image Score (CLIS)를 제시합니다. 우리의 합성 고품질 예제는 초기 개념 목록을 사용자 정의함으로써 다양한 시나리오에서 성능을 향상시키며, 특히 장기 꼬리 분포와 불균형 데이터셋과 관련된 문제를 해결하는 데 효과적입니다. 하류 작업에 대한 실험 결과는 Auto Cherry-Picker가 기존 모델의 성능을 크게 향상시킬 수 있음을 보여줍니다. 또한, 우리는 CLIS와 하류 작업에서의 성능 향상 간의 상관관계를 철저히 조사했으며, 더 나은 CLIS 점수가 더 나은 성능으로 이어진다는 것을 발견했습니다. 이 발견은 다양한 시각 인식 및 MLLM 작업을 위한 평가 메트릭의 잠재적 역할을 보여줍니다. 코드는 공개될 예정입니다.

English

Diffusion-based models have shown great potential in generating high-quality images with various layouts, which can benefit downstream perception tasks. However, a fully automatic layout generation driven only by language and a suitable metric for measuring multiple generated instances has not been well explored. In this work, we present Auto Cherry-Picker (ACP), a novel framework that generates high-quality multi-modal training examples to augment perception and multi-modal training. Starting with a simple list of natural language concepts, we prompt large language models (LLMs) to generate a detailed description and design reasonable layouts. Next, we use an off-the-shelf text-to-image model to generate multiple images. Then, the generated data are refined using a comprehensively designed metric to ensure quality. In particular, we present a new metric, Composite Layout and Image Score (CLIS), to evaluate the generated images fairly. Our synthetic high-quality examples boost performance in various scenarios by customizing the initial concept list, especially in addressing challenges associated with long-tailed distribution and imbalanced datasets. Experiment results on downstream tasks demonstrate that Auto Cherry-Picker can significantly improve the performance of existing models. In addition, we have thoroughly investigated the correlation between CLIS and performance gains in downstream tasks, and we find that a better CLIS score results in better performance. This finding shows the potential for evaluation metrics as the role for various visual perception and MLLM tasks. Code will be available.