Untersuchung der Auswirkungen von Qualität, Vielfalt und Komplexität in synthetischen Daten großer Sprachmodelle

Surveying the Effects of Quality, Diversity, and Complexity in Synthetic Data From Large Language Models

December 4, 2024

Autoren: Alex Havrilla, Andrew Dai, Laura O'Mahony, Koen Oostermeijer, Vera Zisler, Alon Albalak, Fabrizio Milo, Sharath Chandra Raparthy, Kanishk Gandhi, Baber Abbasi, Duy Phung, Maia Iyer, Dakota Mahan, Chase Blagden, Srishti Gureja, Mohammed Hamdy, Wen-Ding Li, Giovanni Paolini, Pawan Sasanka Ammanamanchi, Elliot Meyerson

cs.AI

Zusammenfassung

Die Generierung synthetischer Daten mit Large Language Models ist ein vielversprechendes Paradigma zur Erweiterung natürlicher Daten über eine nahezu unendliche Bandbreite von Aufgaben. Aufgrund dieser Vielfalt sind direkte Vergleiche zwischen Algorithmen zur Generierung synthetischer Daten selten, was es schwierig macht zu verstehen, wo Verbesserungen herkommen und welche Engpässe bestehen. Wir schlagen vor, Algorithmen anhand der Zusammensetzung der von jedem Algorithmus generierten synthetischen Daten hinsichtlich Datenqualität, Diversität und Komplexität zu bewerten. Wir wählen diese drei Merkmale aufgrund ihrer Bedeutung in offenen Prozessen und des Einflusses, den jedes Merkmal auf die Fähigkeiten von nachgelagerten Modellen hat. Wir stellen fest, dass Qualität für die Generalisierung von Modellen innerhalb der Verteilung, Diversität für die Generalisierung außerhalb der Verteilung und Komplexität für beides wesentlich sind. Darüber hinaus betonen wir das Bestehen von Qualitäts-Diversitäts-Trade-offs in Trainingsdaten und die Auswirkungen auf die Leistung von Modellen. Anschließend untersuchen wir die Auswirkungen verschiedener Komponenten im Prozess der synthetischen Datenerzeugung auf jedes Datenmerkmal. Diese Untersuchung ermöglicht es uns, synthetische Datenerzeugungsalgorithmen anhand der von ihnen genutzten Komponenten und der daraus resultierenden Effekte auf die Datenzusammensetzung von QDC zu klassifizieren und zu vergleichen. Diese Analyse mündet in eine Diskussion über die Bedeutung des Ausgleichs von QDC in synthetischen Daten für effiziente Verstärkungslernalgorithmen und Selbstverbesserungsalgorithmen. Analog zu den QD-Trade-offs in Trainingsdaten existieren oft Trade-offs zwischen der Qualität der Modellausgabe und der Diversität der Ausgabe, die die Zusammensetzung synthetischer Daten beeinflussen. Wir stellen fest, dass viele Modelle derzeit nur hinsichtlich der Ausgabequalität bewertet und optimiert werden, was die Diversität der Ausgabe und das Potenzial für Selbstverbesserung einschränkt. Wir argumentieren, dass der Ausgleich dieser Trade-offs für die Entwicklung zukünftiger Selbstverbesserungsalgorithmen wesentlich ist und heben eine Reihe von Arbeiten hervor, die in diese Richtung Fortschritte machen.

English

Synthetic data generation with Large Language Models is a promising paradigm for augmenting natural data over a nearly infinite range of tasks. Given this variety, direct comparisons among synthetic data generation algorithms are scarce, making it difficult to understand where improvement comes from and what bottlenecks exist. We propose to evaluate algorithms via the makeup of synthetic data generated by each algorithm in terms of data quality, diversity, and complexity. We choose these three characteristics for their significance in open-ended processes and the impact each has on the capabilities of downstream models. We find quality to be essential for in-distribution model generalization, diversity to be essential for out-of-distribution generalization, and complexity to be beneficial for both. Further, we emphasize the existence of Quality-Diversity trade-offs in training data and the downstream effects on model performance. We then examine the effect of various components in the synthetic data pipeline on each data characteristic. This examination allows us to taxonomize and compare synthetic data generation algorithms through the components they utilize and the resulting effects on data QDC composition. This analysis extends into a discussion on the importance of balancing QDC in synthetic data for efficient reinforcement learning and self-improvement algorithms. Analogous to the QD trade-offs in training data, often there exist trade-offs between model output quality and output diversity which impact the composition of synthetic data. We observe that many models are currently evaluated and optimized only for output quality, thereby limiting output diversity and the potential for self-improvement. We argue that balancing these trade-offs is essential to the development of future self-improvement algorithms and highlight a number of works making progress in this direction.