DataComp-LM: 차세대 언어 모델 훈련 데이터셋 탐구

DataComp-LM: In search of the next generation of training sets for language models

June 17, 2024

저자: Jeffrey Li, Alex Fang, Georgios Smyrnis, Maor Ivgi, Matt Jordan, Samir Gadre, Hritik Bansal, Etash Guha, Sedrick Keh, Kushal Arora, Saurabh Garg, Rui Xin, Niklas Muennighoff, Reinhard Heckel, Jean Mercat, Mayee Chen, Suchin Gururangan, Mitchell Wortsman, Alon Albalak, Yonatan Bitton, Marianna Nezhurina, Amro Abbas, Cheng-Yu Hsieh, Dhruba Ghosh, Josh Gardner, Maciej Kilian, Hanlin Zhang, Rulin Shao, Sarah Pratt, Sunny Sanyal, Gabriel Ilharco, Giannis Daras, Kalyani Marathe, Aaron Gokaslan, Jieyu Zhang, Khyathi Chandu, Thao Nguyen, Igor Vasiljevic, Sham Kakade, Shuran Song, Sujay Sanghavi, Fartash Faghri, Sewoong Oh, Luke Zettlemoyer, Kyle Lo, Alaaeldin El-Nouby, Hadi Pouransari, Alexander Toshev, Stephanie Wang, Dirk Groeneveld, Luca Soldani, Pang Wei Koh, Jenia Jitsev, Thomas Kollar, Alexandros G. Dimakis, Yair Carmon, Achal Dave, Ludwig Schmidt, Vaishaal Shankar

cs.AI

초록

언어 모델 개선을 목표로 한 통제된 데이터셋 실험을 위한 테스트베드인 DataComp for Language Models(DCLM)를 소개합니다. DCLM의 일환으로, Common Crawl에서 추출한 240조 토큰의 표준화된 코퍼스, OpenLM 프레임워크 기반의 효과적인 사전 학습 레시피, 그리고 53가지의 다양한 다운스트림 평가 세트를 제공합니다. DCLM 벤치마크 참가자들은 4억 1,200만에서 70억 파라미터 규모의 모델에서 중복 제거, 필터링, 데이터 혼합과 같은 데이터 큐레이션 전략을 실험할 수 있습니다. DCLM의 기준선으로, 광범위한 실험을 수행한 결과 모델 기반 필터링이 고품질 훈련 데이터셋을 구성하는 데 핵심적임을 발견했습니다. 이를 통해 얻은 DCLM-Baseline 데이터셋은 2조 6,000억 훈련 토큰으로 70억 파라미터 언어 모델을 처음부터 훈련시켜 MMLU에서 64%의 5-shot 정확도를 달성할 수 있게 합니다. 이전 오픈 데이터 언어 모델의 최첨단 기술인 MAP-Neo와 비교했을 때, DCLM-Baseline은 MMLU에서 6.6% 포인트 향상을 보였으며, 40% 적은 컴퓨팅 자원으로 훈련되었습니다. 우리의 기준선 모델은 MMLU에서 Mistral-7B-v0.3(63%) 및 Llama 3 8B(66%)와 비슷한 성능을 보이며, 53가지 자연어 이해 작업의 평균에서도 비슷한 성능을 보이면서 Llama 3 8B보다 6.6배 적은 컴퓨팅 자원으로 훈련되었습니다. 이러한 결과는 언어 모델 훈련을 위한 데이터셋 설계의 중요성을 강조하며, 데이터 큐레이션에 대한 추가 연구를 위한 출발점을 제공합니다.

English

We introduce DataComp for Language Models (DCLM), a testbed for controlled dataset experiments with the goal of improving language models. As part of DCLM, we provide a standardized corpus of 240T tokens extracted from Common Crawl, effective pretraining recipes based on the OpenLM framework, and a broad suite of 53 downstream evaluations. Participants in the DCLM benchmark can experiment with data curation strategies such as deduplication, filtering, and data mixing at model scales ranging from 412M to 7B parameters. As a baseline for DCLM, we conduct extensive experiments and find that model-based filtering is key to assembling a high-quality training set. The resulting dataset, DCLM-Baseline enables training a 7B parameter language model from scratch to 64% 5-shot accuracy on MMLU with 2.6T training tokens. Compared to MAP-Neo, the previous state-of-the-art in open-data language models, DCLM-Baseline represents a 6.6 percentage point improvement on MMLU while being trained with 40% less compute. Our baseline model is also comparable to Mistral-7B-v0.3 and Llama 3 8B on MMLU (63% & 66%), and performs similarly on an average of 53 natural language understanding tasks while being trained with 6.6x less compute than Llama 3 8B. Our results highlight the importance of dataset design for training language models and offer a starting point for further research on data curation.