Étude des effets de la qualité, de la diversité et de la complexité des données synthétiques issues de grands modèles de langage

Surveying the Effects of Quality, Diversity, and Complexity in Synthetic Data From Large Language Models

December 4, 2024

Auteurs: Alex Havrilla, Andrew Dai, Laura O'Mahony, Koen Oostermeijer, Vera Zisler, Alon Albalak, Fabrizio Milo, Sharath Chandra Raparthy, Kanishk Gandhi, Baber Abbasi, Duy Phung, Maia Iyer, Dakota Mahan, Chase Blagden, Srishti Gureja, Mohammed Hamdy, Wen-Ding Li, Giovanni Paolini, Pawan Sasanka Ammanamanchi, Elliot Meyerson

cs.AI

Résumé

La génération de données synthétiques avec de grands modèles de langage est un paradigme prometteur pour augmenter les données naturelles sur une gamme presque infinie de tâches. Compte tenu de cette diversité, les comparaisons directes entre les algorithmes de génération de données synthétiques sont rares, ce qui rend difficile la compréhension des améliorations apportées et des goulots d'étranglement existants. Nous proposons d'évaluer les algorithmes en fonction de la composition des données synthétiques générées par chaque algorithme en termes de qualité des données, de diversité et de complexité. Nous choisissons ces trois caractéristiques pour leur importance dans les processus ouverts et l'impact de chacune sur les capacités des modèles en aval. Nous considérons que la qualité est essentielle pour la généralisation du modèle en distribution, la diversité est essentielle pour la généralisation hors distribution, et la complexité est bénéfique pour les deux. De plus, nous mettons en avant l'existence de compromis entre qualité et diversité dans les données d'entraînement et les effets en aval sur les performances des modèles. Nous examinons ensuite l'effet des différents composants du pipeline de données synthétiques sur chaque caractéristique des données. Cette analyse nous permet de taxonomiser et de comparer les algorithmes de génération de données synthétiques en fonction des composants qu'ils utilisent et des effets résultants sur la composition des données QDC. Cette analyse se prolonge dans une discussion sur l'importance d'équilibrer la qualité, la diversité et la complexité des données synthétiques pour des algorithmes d'apprentissage par renforcement efficaces et d'auto-amélioration. Analogues aux compromis QD dans les données d'entraînement, il existe souvent des compromis entre la qualité de la sortie du modèle et la diversité de la sortie qui impactent la composition des données synthétiques. Nous observons que de nombreux modèles sont actuellement évalués et optimisés uniquement pour la qualité de la sortie, limitant ainsi la diversité de la sortie et le potentiel d'auto-amélioration. Nous soutenons que l'équilibre de ces compromis est essentiel pour le développement de futurs algorithmes d'auto-amélioration et mettons en lumière un certain nombre de travaux progressant dans cette direction.

English

Synthetic data generation with Large Language Models is a promising paradigm for augmenting natural data over a nearly infinite range of tasks. Given this variety, direct comparisons among synthetic data generation algorithms are scarce, making it difficult to understand where improvement comes from and what bottlenecks exist. We propose to evaluate algorithms via the makeup of synthetic data generated by each algorithm in terms of data quality, diversity, and complexity. We choose these three characteristics for their significance in open-ended processes and the impact each has on the capabilities of downstream models. We find quality to be essential for in-distribution model generalization, diversity to be essential for out-of-distribution generalization, and complexity to be beneficial for both. Further, we emphasize the existence of Quality-Diversity trade-offs in training data and the downstream effects on model performance. We then examine the effect of various components in the synthetic data pipeline on each data characteristic. This examination allows us to taxonomize and compare synthetic data generation algorithms through the components they utilize and the resulting effects on data QDC composition. This analysis extends into a discussion on the importance of balancing QDC in synthetic data for efficient reinforcement learning and self-improvement algorithms. Analogous to the QD trade-offs in training data, often there exist trade-offs between model output quality and output diversity which impact the composition of synthetic data. We observe that many models are currently evaluated and optimized only for output quality, thereby limiting output diversity and the potential for self-improvement. We argue that balancing these trade-offs is essential to the development of future self-improvement algorithms and highlight a number of works making progress in this direction.