Analisando os Efeitos da Qualidade, Diversidade e Complexidade em Dados Sintéticos de Modelos de Linguagem Grandes

Surveying the Effects of Quality, Diversity, and Complexity in Synthetic Data From Large Language Models

December 4, 2024

Autores: Alex Havrilla, Andrew Dai, Laura O'Mahony, Koen Oostermeijer, Vera Zisler, Alon Albalak, Fabrizio Milo, Sharath Chandra Raparthy, Kanishk Gandhi, Baber Abbasi, Duy Phung, Maia Iyer, Dakota Mahan, Chase Blagden, Srishti Gureja, Mohammed Hamdy, Wen-Ding Li, Giovanni Paolini, Pawan Sasanka Ammanamanchi, Elliot Meyerson

cs.AI

Resumo

A geração de dados sintéticos com Grandes Modelos de Linguagem é um paradigma promissor para aumentar dados naturais em uma gama quase infinita de tarefas. Devido a essa variedade, comparações diretas entre algoritmos de geração de dados sintéticos são escassas, tornando difícil compreender de onde vêm as melhorias e quais gargalos existem. Propomos avaliar algoritmos por meio da composição dos dados sintéticos gerados por cada algoritmo em termos de qualidade dos dados, diversidade e complexidade. Escolhemos essas três características por sua importância em processos abertos e o impacto que cada uma tem nas capacidades dos modelos subsequentes. Constatamos que a qualidade é essencial para a generalização do modelo em distribuição, a diversidade é essencial para a generalização fora da distribuição e a complexidade é benéfica para ambos os casos. Além disso, enfatizamos a existência de compensações entre qualidade e diversidade nos dados de treinamento e os efeitos subsequentes no desempenho do modelo. Em seguida, examinamos o efeito de vários componentes no pipeline de dados sintéticos em relação a cada característica dos dados. Essa análise nos permite taxonomizar e comparar algoritmos de geração de dados sintéticos por meio dos componentes que utilizam e os efeitos resultantes na composição de dados QDC. Essa análise se estende a uma discussão sobre a importância de equilibrar QDC em dados sintéticos para algoritmos eficientes de aprendizado por reforço e autoaperfeiçoamento. Analogamente às compensações QD em dados de treinamento, muitas vezes existem compensações entre a qualidade da saída do modelo e a diversidade da saída que impactam a composição dos dados sintéticos. Observamos que muitos modelos são atualmente avaliados e otimizados apenas para a qualidade da saída, limitando assim a diversidade da saída e o potencial de autoaperfeiçoamento. Argumentamos que equilibrar essas compensações é essencial para o desenvolvimento de futuros algoritmos de autoaperfeiçoamento e destacamos uma série de trabalhos que estão progredindo nessa direção.

English

Synthetic data generation with Large Language Models is a promising paradigm for augmenting natural data over a nearly infinite range of tasks. Given this variety, direct comparisons among synthetic data generation algorithms are scarce, making it difficult to understand where improvement comes from and what bottlenecks exist. We propose to evaluate algorithms via the makeup of synthetic data generated by each algorithm in terms of data quality, diversity, and complexity. We choose these three characteristics for their significance in open-ended processes and the impact each has on the capabilities of downstream models. We find quality to be essential for in-distribution model generalization, diversity to be essential for out-of-distribution generalization, and complexity to be beneficial for both. Further, we emphasize the existence of Quality-Diversity trade-offs in training data and the downstream effects on model performance. We then examine the effect of various components in the synthetic data pipeline on each data characteristic. This examination allows us to taxonomize and compare synthetic data generation algorithms through the components they utilize and the resulting effects on data QDC composition. This analysis extends into a discussion on the importance of balancing QDC in synthetic data for efficient reinforcement learning and self-improvement algorithms. Analogous to the QD trade-offs in training data, often there exist trade-offs between model output quality and output diversity which impact the composition of synthetic data. We observe that many models are currently evaluated and optimized only for output quality, thereby limiting output diversity and the potential for self-improvement. We argue that balancing these trade-offs is essential to the development of future self-improvement algorithms and highlight a number of works making progress in this direction.