Onderzoek naar de effecten van kwaliteit, diversiteit en complexiteit in synthetische data van grote taalmodellen.

Surveying the Effects of Quality, Diversity, and Complexity in Synthetic Data From Large Language Models

December 4, 2024

Auteurs: Alex Havrilla, Andrew Dai, Laura O'Mahony, Koen Oostermeijer, Vera Zisler, Alon Albalak, Fabrizio Milo, Sharath Chandra Raparthy, Kanishk Gandhi, Baber Abbasi, Duy Phung, Maia Iyer, Dakota Mahan, Chase Blagden, Srishti Gureja, Mohammed Hamdy, Wen-Ding Li, Giovanni Paolini, Pawan Sasanka Ammanamanchi, Elliot Meyerson

cs.AI

Samenvatting

Het genereren van synthetische data met Grote Taalmodellen is een veelbelovend paradigma voor het aanvullen van natuurlijke data over bijna oneindig veel taken. Gezien deze variëteit zijn directe vergelijkingen tussen algoritmes voor synthetische data generatie zeldzaam, waardoor het moeilijk is om te begrijpen waar verbeteringen vandaan komen en welke knelpunten er bestaan. Wij stellen voor om algoritmes te evalueren aan de hand van de samenstelling van synthetische data die elk algoritme genereert op het gebied van datakwaliteit, diversiteit en complexiteit. We kiezen deze drie kenmerken vanwege hun belang in open-ended processen en de invloed die elk heeft op de mogelijkheden van downstream modellen. We vinden kwaliteit essentieel voor generalisatie van modellen binnen de distributie, diversiteit essentieel voor generalisatie buiten de distributie, en complexiteit gunstig voor beide. Verder benadrukken we het bestaan van kwaliteit-diversiteit trade-offs in trainingsdata en de downstream effecten op de prestaties van modellen. Vervolgens onderzoeken we het effect van verschillende componenten in de synthetische data pipeline op elk datakenmerk. Dit onderzoek stelt ons in staat om synthetische data generatie algoritmes te classificeren en te vergelijken op basis van de componenten die ze gebruiken en de resulterende effecten op de samenstelling van data QDC. Deze analyse strekt zich uit tot een bespreking van het belang van het balanceren van QDC in synthetische data voor efficiënte reinforcement learning en zelfverbeterende algoritmes. Analoog aan de QD trade-offs in trainingsdata, bestaan er vaak trade-offs tussen de kwaliteit van modeloutput en de diversiteit van output die de samenstelling van synthetische data beïnvloeden. We merken op dat veel modellen momenteel alleen worden geëvalueerd en geoptimaliseerd voor outputkwaliteit, waardoor de outputdiversiteit en het potentieel voor zelfverbetering beperkt worden. Wij betogen dat het balanceren van deze trade-offs essentieel is voor de ontwikkeling van toekomstige zelfverbeterende algoritmes en benadrukken een aantal werken die vooruitgang boeken in deze richting.

English

Synthetic data generation with Large Language Models is a promising paradigm for augmenting natural data over a nearly infinite range of tasks. Given this variety, direct comparisons among synthetic data generation algorithms are scarce, making it difficult to understand where improvement comes from and what bottlenecks exist. We propose to evaluate algorithms via the makeup of synthetic data generated by each algorithm in terms of data quality, diversity, and complexity. We choose these three characteristics for their significance in open-ended processes and the impact each has on the capabilities of downstream models. We find quality to be essential for in-distribution model generalization, diversity to be essential for out-of-distribution generalization, and complexity to be beneficial for both. Further, we emphasize the existence of Quality-Diversity trade-offs in training data and the downstream effects on model performance. We then examine the effect of various components in the synthetic data pipeline on each data characteristic. This examination allows us to taxonomize and compare synthetic data generation algorithms through the components they utilize and the resulting effects on data QDC composition. This analysis extends into a discussion on the importance of balancing QDC in synthetic data for efficient reinforcement learning and self-improvement algorithms. Analogous to the QD trade-offs in training data, often there exist trade-offs between model output quality and output diversity which impact the composition of synthetic data. We observe that many models are currently evaluated and optimized only for output quality, thereby limiting output diversity and the potential for self-improvement. We argue that balancing these trade-offs is essential to the development of future self-improvement algorithms and highlight a number of works making progress in this direction.