Explorando los Efectos de la Calidad, Diversidad y Complejidad en Datos Sintéticos Generados por Modelos de Lenguaje Grandes

Surveying the Effects of Quality, Diversity, and Complexity in Synthetic Data From Large Language Models

December 4, 2024

Autores: Alex Havrilla, Andrew Dai, Laura O'Mahony, Koen Oostermeijer, Vera Zisler, Alon Albalak, Fabrizio Milo, Sharath Chandra Raparthy, Kanishk Gandhi, Baber Abbasi, Duy Phung, Maia Iyer, Dakota Mahan, Chase Blagden, Srishti Gureja, Mohammed Hamdy, Wen-Ding Li, Giovanni Paolini, Pawan Sasanka Ammanamanchi, Elliot Meyerson

cs.AI

Resumen

La generación de datos sintéticos con Modelos de Lenguaje Grandes es un paradigma prometedor para aumentar datos naturales en una amplia gama de tareas casi infinita. Dada esta variedad, las comparaciones directas entre algoritmos de generación de datos sintéticos son escasas, lo que dificulta comprender de dónde provienen las mejoras y qué cuellos de botella existen. Proponemos evaluar los algoritmos a través de la composición de los datos sintéticos generados por cada algoritmo en términos de calidad de datos, diversidad y complejidad. Elegimos estas tres características por su importancia en procesos abiertos y el impacto que cada una tiene en las capacidades de los modelos posteriores. Encontramos que la calidad es esencial para la generalización del modelo en distribución, la diversidad es esencial para la generalización fuera de distribución, y la complejidad es beneficiosa para ambos casos. Además, enfatizamos la existencia de compensaciones entre calidad y diversidad en los datos de entrenamiento y los efectos posteriores en el rendimiento del modelo. Luego examinamos el efecto de varios componentes en el proceso de datos sintéticos en cada característica de los datos. Esta evaluación nos permite clasificar y comparar los algoritmos de generación de datos sintéticos a través de los componentes que utilizan y los efectos resultantes en la composición de datos QDC. Este análisis se extiende a una discusión sobre la importancia de equilibrar QDC en datos sintéticos para algoritmos eficientes de aprendizaje por refuerzo y auto-mejora. De manera análoga a las compensaciones QD en los datos de entrenamiento, a menudo existen compensaciones entre la calidad de la salida del modelo y la diversidad de la salida que impactan la composición de los datos sintéticos. Observamos que muchos modelos actualmente se evalúan y optimizan solo para la calidad de la salida, limitando así la diversidad de la salida y el potencial de auto-mejora. Sostenemos que equilibrar estas compensaciones es esencial para el desarrollo de futuros algoritmos de auto-mejora y destacamos varios trabajos que avanzan en esta dirección.

English

Synthetic data generation with Large Language Models is a promising paradigm for augmenting natural data over a nearly infinite range of tasks. Given this variety, direct comparisons among synthetic data generation algorithms are scarce, making it difficult to understand where improvement comes from and what bottlenecks exist. We propose to evaluate algorithms via the makeup of synthetic data generated by each algorithm in terms of data quality, diversity, and complexity. We choose these three characteristics for their significance in open-ended processes and the impact each has on the capabilities of downstream models. We find quality to be essential for in-distribution model generalization, diversity to be essential for out-of-distribution generalization, and complexity to be beneficial for both. Further, we emphasize the existence of Quality-Diversity trade-offs in training data and the downstream effects on model performance. We then examine the effect of various components in the synthetic data pipeline on each data characteristic. This examination allows us to taxonomize and compare synthetic data generation algorithms through the components they utilize and the resulting effects on data QDC composition. This analysis extends into a discussion on the importance of balancing QDC in synthetic data for efficient reinforcement learning and self-improvement algorithms. Analogous to the QD trade-offs in training data, often there exist trade-offs between model output quality and output diversity which impact the composition of synthetic data. We observe that many models are currently evaluated and optimized only for output quality, thereby limiting output diversity and the potential for self-improvement. We argue that balancing these trade-offs is essential to the development of future self-improvement algorithms and highlight a number of works making progress in this direction.