Automatischer Kirschenpicker: Lernen aus hochwertigen generativen Daten, die von Sprache angetrieben werden

Auto Cherry-Picker: Learning from High-quality Generative Data Driven by Language

June 28, 2024

Autoren: Yicheng Chen, Xiangtai Li, Yining Li, Yanhong Zeng, Jianzong Wu, Xiangyu Zhao, Kai Chen

cs.AI

Zusammenfassung

Diffusionsbasierte Modelle haben großes Potenzial gezeigt, hochwertige Bilder mit verschiedenen Layouts zu generieren, was sich positiv auf nachgelagerte Wahrnehmungsaufgaben auswirken kann. Allerdings wurde die vollautomatische Layoutgenerierung, die ausschließlich von Sprache gesteuert wird, und ein geeignetes Maß für die Messung mehrerer generierter Instanzen noch nicht ausreichend erforscht. In dieser Arbeit präsentieren wir Auto Cherry-Picker (ACP), ein neuartiges Framework, das hochwertige multimodale Trainingsbeispiele generiert, um die Wahrnehmung und das multimodale Training zu erweitern. Ausgehend von einer einfachen Liste natürlicher Sprachkonzepte fordern wir große Sprachmodelle (LLMs) auf, eine detaillierte Beschreibung zu generieren und vernünftige Layouts zu entwerfen. Anschließend verwenden wir ein textbasiertes Bildgenerierungsmodell, um mehrere Bilder zu erzeugen. Die generierten Daten werden dann mithilfe eines umfassend gestalteten Maßes verfeinert, um die Qualität sicherzustellen. Insbesondere präsentieren wir ein neues Maß, den Composite Layout and Image Score (CLIS), um die generierten Bilder fair zu bewerten. Unsere synthetischen hochwertigen Beispiele verbessern die Leistung in verschiedenen Szenarien, indem wir die anfängliche Konzeptliste anpassen, insbesondere um Herausforderungen im Zusammenhang mit langschwänzigen Verteilungen und unausgewogenen Datensätzen zu bewältigen. Experimentelle Ergebnisse zu nachgelagerten Aufgaben zeigen, dass Auto Cherry-Picker die Leistung bestehender Modelle signifikant verbessern kann. Darüber hinaus haben wir gründlich die Korrelation zwischen CLIS und Leistungssteigerungen bei nachgelagerten Aufgaben untersucht und festgestellt, dass ein besserer CLIS-Wert zu einer besseren Leistung führt. Diese Erkenntnis zeigt das Potenzial von Bewertungskriterien als Rolle für verschiedene visuelle Wahrnehmungs- und MLLM-Aufgaben. Der Code wird verfügbar sein.

English

Diffusion-based models have shown great potential in generating high-quality images with various layouts, which can benefit downstream perception tasks. However, a fully automatic layout generation driven only by language and a suitable metric for measuring multiple generated instances has not been well explored. In this work, we present Auto Cherry-Picker (ACP), a novel framework that generates high-quality multi-modal training examples to augment perception and multi-modal training. Starting with a simple list of natural language concepts, we prompt large language models (LLMs) to generate a detailed description and design reasonable layouts. Next, we use an off-the-shelf text-to-image model to generate multiple images. Then, the generated data are refined using a comprehensively designed metric to ensure quality. In particular, we present a new metric, Composite Layout and Image Score (CLIS), to evaluate the generated images fairly. Our synthetic high-quality examples boost performance in various scenarios by customizing the initial concept list, especially in addressing challenges associated with long-tailed distribution and imbalanced datasets. Experiment results on downstream tasks demonstrate that Auto Cherry-Picker can significantly improve the performance of existing models. In addition, we have thoroughly investigated the correlation between CLIS and performance gains in downstream tasks, and we find that a better CLIS score results in better performance. This finding shows the potential for evaluation metrics as the role for various visual perception and MLLM tasks. Code will be available.