Auto Cherry-Picker: 言語駆動型の高品質生成データからの学習

Auto Cherry-Picker: Learning from High-quality Generative Data Driven by Language

June 28, 2024

著者: Yicheng Chen, Xiangtai Li, Yining Li, Yanhong Zeng, Jianzong Wu, Xiangyu Zhao, Kai Chen

cs.AI

要旨

拡散モデルは、様々なレイアウトで高品質な画像を生成する大きな可能性を示しており、下流の知覚タスクに有益です。しかし、言語のみによって駆動される完全自動のレイアウト生成と、複数の生成インスタンスを測定する適切な指標は、十分に探求されていません。本研究では、Auto Cherry-Picker（ACP）という新しいフレームワークを提案します。これは、知覚とマルチモーダルトレーニングを強化するための高品質なマルチモーダルトレーニング例を生成します。自然言語の概念リストから始めて、大規模言語モデル（LLM）に詳細な説明を生成させ、合理的なレイアウトを設計します。次に、既存のテキストから画像へのモデルを使用して複数の画像を生成します。その後、生成されたデータは、品質を保証するために包括的に設計された指標を使用して精製されます。特に、生成された画像を公平に評価するための新しい指標、Composite Layout and Image Score（CLIS）を提示します。私たちの合成高品質例は、特に長尾分布や不均衡なデータセットに関連する課題に対処するために、初期の概念リストをカスタマイズすることで、様々なシナリオでパフォーマンスを向上させます。下流タスクでの実験結果は、Auto Cherry-Pickerが既存のモデルのパフォーマンスを大幅に改善できることを示しています。さらに、CLISと下流タスクでのパフォーマンス向上の相関関係を徹底的に調査し、より良いCLISスコアがより良いパフォーマンスをもたらすことを発見しました。この発見は、様々な視覚知覚およびMLLMタスクの役割としての評価指標の可能性を示しています。コードは公開予定です。

English

Diffusion-based models have shown great potential in generating high-quality images with various layouts, which can benefit downstream perception tasks. However, a fully automatic layout generation driven only by language and a suitable metric for measuring multiple generated instances has not been well explored. In this work, we present Auto Cherry-Picker (ACP), a novel framework that generates high-quality multi-modal training examples to augment perception and multi-modal training. Starting with a simple list of natural language concepts, we prompt large language models (LLMs) to generate a detailed description and design reasonable layouts. Next, we use an off-the-shelf text-to-image model to generate multiple images. Then, the generated data are refined using a comprehensively designed metric to ensure quality. In particular, we present a new metric, Composite Layout and Image Score (CLIS), to evaluate the generated images fairly. Our synthetic high-quality examples boost performance in various scenarios by customizing the initial concept list, especially in addressing challenges associated with long-tailed distribution and imbalanced datasets. Experiment results on downstream tasks demonstrate that Auto Cherry-Picker can significantly improve the performance of existing models. In addition, we have thoroughly investigated the correlation between CLIS and performance gains in downstream tasks, and we find that a better CLIS score results in better performance. This finding shows the potential for evaluation metrics as the role for various visual perception and MLLM tasks. Code will be available.