Исследование влияния качества, разнообразия и сложности синтетических данных от больших языковых моделей.

Surveying the Effects of Quality, Diversity, and Complexity in Synthetic Data From Large Language Models

December 4, 2024

Авторы: Alex Havrilla, Andrew Dai, Laura O'Mahony, Koen Oostermeijer, Vera Zisler, Alon Albalak, Fabrizio Milo, Sharath Chandra Raparthy, Kanishk Gandhi, Baber Abbasi, Duy Phung, Maia Iyer, Dakota Mahan, Chase Blagden, Srishti Gureja, Mohammed Hamdy, Wen-Ding Li, Giovanni Paolini, Pawan Sasanka Ammanamanchi, Elliot Meyerson

cs.AI

Аннотация

Генерация синтетических данных с использованием больших языковых моделей - это многообещающая парадигма для дополнения естественных данных почти в бесконечном диапазоне задач. Учитывая эту разнообразие, прямые сравнения алгоритмов генерации синтетических данных редки, что затрудняет понимание источников улучшений и наличие узких мест. Мы предлагаем оценивать алгоритмы по характеристикам синтетических данных, сгенерированных каждым алгоритмом, с учетом качества данных, разнообразия и сложности. Мы выбрали эти три характеристики из-за их значимости в процессах с открытым концом и влияния, которое они оказывают на возможности последующих моделей. Мы считаем, что качество является важным для обобщения модели в пределах распределения, разнообразие - важным для обобщения вне распределения, а сложность - полезной для обоих случаев. Кроме того, мы подчеркиваем наличие компромиссов между качеством и разнообразием в обучающих данных и последующие эффекты на производительность модели. Затем мы исследуем влияние различных компонентов в конвейере синтетических данных на каждую характеристику данных. Это исследование позволяет нам систематизировать и сравнивать алгоритмы генерации синтетических данных по используемым компонентам и результатам на состав данных QDC. Этот анализ расширяется до обсуждения важности балансировки QDC в синтетических данных для эффективного обучения с подкреплением и алгоритмов самоусовершенствования. Аналогично компромиссам между качеством и разнообразием в обучающих данных, часто существуют компромиссы между качеством выходных данных модели и разнообразием, которые влияют на состав синтетических данных. Мы замечаем, что многие модели в настоящее время оцениваются и оптимизируются только по качеству выходных данных, тем самым ограничивая разнообразие выходных данных и потенциал для самоусовершенствования. Мы утверждаем, что балансировка этих компромиссов является важной для развития будущих алгоритмов самоусовершенствования и выделяем ряд работ, продвигающихся в этом направлении.

English

Synthetic data generation with Large Language Models is a promising paradigm for augmenting natural data over a nearly infinite range of tasks. Given this variety, direct comparisons among synthetic data generation algorithms are scarce, making it difficult to understand where improvement comes from and what bottlenecks exist. We propose to evaluate algorithms via the makeup of synthetic data generated by each algorithm in terms of data quality, diversity, and complexity. We choose these three characteristics for their significance in open-ended processes and the impact each has on the capabilities of downstream models. We find quality to be essential for in-distribution model generalization, diversity to be essential for out-of-distribution generalization, and complexity to be beneficial for both. Further, we emphasize the existence of Quality-Diversity trade-offs in training data and the downstream effects on model performance. We then examine the effect of various components in the synthetic data pipeline on each data characteristic. This examination allows us to taxonomize and compare synthetic data generation algorithms through the components they utilize and the resulting effects on data QDC composition. This analysis extends into a discussion on the importance of balancing QDC in synthetic data for efficient reinforcement learning and self-improvement algorithms. Analogous to the QD trade-offs in training data, often there exist trade-offs between model output quality and output diversity which impact the composition of synthetic data. We observe that many models are currently evaluated and optimized only for output quality, thereby limiting output diversity and the potential for self-improvement. We argue that balancing these trade-offs is essential to the development of future self-improvement algorithms and highlight a number of works making progress in this direction.