TÜLU 3: 오픈 언어 모델 사후 훈련에서의 선두를 다투다.

TÜLU 3: Pushing Frontiers in Open Language Model Post-Training

November 22, 2024

저자: Nathan Lambert, Jacob Morrison, Valentina Pyatkin, Shengyi Huang, Hamish Ivison, Faeze Brahman, Lester James V. Miranda, Alisa Liu, Nouha Dziri, Shane Lyu, Yuling Gu, Saumya Malik, Victoria Graf, Jena D. Hwang, Jiangjiang Yang, Ronan Le Bras, Oyvind Tafjord, Chris Wilhelm, Luca Soldaini, Noah A. Smith, Yizhong Wang, Pradeep Dasigi, Hannaneh Hajishirzi

cs.AI

초록

언어 모델 사후 훈련은 최근 언어 모델의 넓은 범위에서 행동을 정제하고 새로운 기술을 개방하는 데 적용되지만, 이러한 기술을 적용하는 방법에 대한 공개 레시피는 전용 레시피에 뒤처지고 있습니다. 사후 훈련을 위한 근본적인 훈련 데이터와 레시피는 퍼즐의 가장 중요한 부분이면서 가장 투명성이 적은 부분입니다. 이 간극을 메우기 위해, 우리는 T\"ULU 3을 소개합니다. 이는 최신 사후 훈련 기술에 대한 포괄적인 안내서 역할을 하는 완전히 개방된 최첨단 사후 훈련 모델 패밀리로, 데이터, 코드 및 훈련 레시피를 함께 제공합니다. Llama 3.1 기본 모델을 기반으로 하는 T\"ULU 3은 Llama 3.1, Qwen 2.5, Mistral 및 GPT-4o-mini, Claude 3.5-Haiku와 같은 닫힌 모델을 능가하는 결과를 달성합니다. 우리 모델의 훈련 알고리즘에는 지도된 미세조정 (SFT), 직접적인 선호도 최적화 (DPO), 그리고 우리가 Verifiable Rewards와 함께 한 강화 학습이라고 부르는 새로운 방법이 포함됩니다. T\"ULU 3을 통해, 개발 및 보이지 않는 평가, 표준 벤치마크 구현, 그리고 해당 벤치마크에 대한 기존 개방 데이터 세트의 심각한 오염 제거를 포함한 사후 훈련 레시피에 대한 다중 작업 평가 체계를 소개합니다. 신뢰할 수 없이 성능을 향상시키지 못한 훈련 방법에 대한 분석과 토론으로 마무리합니다. T\"ULU 3 모델 가중치와 데모뿐만 아니라, 다양한 핵심 기술을 위한 데이터 세트, 데이터 정제 및 평가를 위한 견고한 툴킷, 훈련 코드 및 인프라, 그리고 더 많은 도메인에 대한 T\"ULU 3 접근 방식을 재현하고 추가적으로 적응하기 위한 상세 보고서를 포함한 완전한 레시피를 공개합니다.

English

Language model post-training is applied to refine behaviors and unlock new skills across a wide range of recent language models, but open recipes for applying these techniques lag behind proprietary ones. The underlying training data and recipes for post-training are simultaneously the most important pieces of the puzzle and the portion with the least transparency. To bridge this gap, we introduce T\"ULU 3, a family of fully-open state-of-the-art post-trained models, alongside its data, code, and training recipes, serving as a comprehensive guide for modern post-training techniques. T\"ULU 3, which builds on Llama 3.1 base models, achieves results surpassing the instruct versions of Llama 3.1, Qwen 2.5, Mistral, and even closed models such as GPT-4o-mini and Claude 3.5-Haiku. The training algorithms for our models include supervised finetuning (SFT), Direct Preference Optimization (DPO), and a novel method we call Reinforcement Learning with Verifiable Rewards (RLVR). With T\"ULU 3, we introduce a multi-task evaluation scheme for post-training recipes with development and unseen evaluations, standard benchmark implementations, and substantial decontamination of existing open datasets on said benchmarks. We conclude with analysis and discussion of training methods that did not reliably improve performance. In addition to the T\"ULU 3 model weights and demo, we release the complete recipe -- including datasets for diverse core skills, a robust toolkit for data curation and evaluation, the training code and infrastructure, and, most importantly, a detailed report for reproducing and further adapting the T\"ULU 3 approach to more domains.