언어 모델 사전 학습을 위한 이변량 스케일링 법칙: 효율적인 데이터 혼합

Data Mixing Made Efficient: A Bivariate Scaling Law for Language Model Pretraining

May 23, 2024

저자: Ce Ge, Zhijian Ma, Daoyuan Chen, Yaliang Li, Bolin Ding

cs.AI

초록

대규모 언어 모델은 다양한 출처의 데이터 활용을 주된 원인으로 하여 탁월한 일반화 능력을 보여줍니다. 그러나 이러한 다양한 데이터를 통합하는 기존의 관행은 이론적 지침이 부족한 경험적 방식에 크게 의존하고 있습니다. 본 연구는 데이터 혼합에 대한 저비용 프록시 기반 전략을 탐구함으로써 이러한 한계를 해결하고, 데이터 큐레이션을 간소화하여 학습 효율성을 향상시키는 것을 목표로 합니다. 구체적으로, 우리는 데이터 양과 혼합 비율의 이변량 스케일링 동작을 정확하게 모델링하는 'BiMix'라는 통합 스케일링 법칙을 제안합니다. 체계적인 실험을 통해 BiMix의 예측 능력과 기본 원리에 대한 경험적 증거를 제시하며, 특히 엔트로피 기반의 학습 없이 구성된 데이터 혼합이 더 많은 자원을 요구하는 방법들과 견줄 만하거나 더 나은 성능을 달성할 수 있음을 발견했습니다. 우리의 정량적 통찰이 비용 효율적인 언어 모델링 연구 개발에 더욱 합리적인 방향을 제시할 수 있기를 기대합니다.

English

Large language models exhibit exceptional generalization capabilities, primarily attributed to the utilization of diversely sourced data. However, conventional practices in integrating this diverse data heavily rely on heuristic schemes, lacking theoretical guidance. This research tackles these limitations by investigating strategies based on low-cost proxies for data mixtures, with the aim of streamlining data curation to enhance training efficiency. Specifically, we propose a unified scaling law, termed BiMix, which accurately models the bivariate scaling behaviors of both data quantity and mixing proportions. We conduct systematic experiments and provide empirical evidence for the predictive power and fundamental principles of BiMix. Notably, our findings reveal that entropy-driven training-free data mixtures can achieve comparable or even better performance than more resource-intensive methods. We hope that our quantitative insights can shed light on further judicious research and development in cost-effective language modeling.