TÜLU 3: Het Verleggen van Grenzen in Post-Training van Open Taalmodel

TÜLU 3: Pushing Frontiers in Open Language Model Post-Training

November 22, 2024

Auteurs: Nathan Lambert, Jacob Morrison, Valentina Pyatkin, Shengyi Huang, Hamish Ivison, Faeze Brahman, Lester James V. Miranda, Alisa Liu, Nouha Dziri, Shane Lyu, Yuling Gu, Saumya Malik, Victoria Graf, Jena D. Hwang, Jiangjiang Yang, Ronan Le Bras, Oyvind Tafjord, Chris Wilhelm, Luca Soldaini, Noah A. Smith, Yizhong Wang, Pradeep Dasigi, Hannaneh Hajishirzi

cs.AI

Samenvatting

Het post-training van taalmodellen wordt toegepast om gedrag te verfijnen en nieuwe vaardigheden te ontsluiten bij een breed scala aan recente taalmodellen, maar open recepten voor het toepassen van deze technieken blijven achter bij de gepatenteerde versies. De onderliggende trainingsgegevens en recepten voor post-training zijn tegelijkertijd de belangrijkste puzzelstukken en het gedeelte met de minste transparantie. Om deze kloof te overbruggen, introduceren we TÜLU 3, een familie van volledig open state-of-the-art post-getrainde modellen, samen met de bijbehorende gegevens, code en trainingsrecepten, als een uitgebreide gids voor moderne post-training technieken. TÜLU 3, dat voortbouwt op Llama 3.1 basismodellen, behaalt resultaten die de instructieversies van Llama 3.1, Qwen 2.5, Mistral, en zelfs gesloten modellen zoals GPT-4o-mini en Claude 3.5-Haiku overtreffen. De trainingsalgoritmen voor onze modellen omvatten begeleid finetunen (SFT), Directe Voorkeurs Optimalisatie (DPO), en een nieuw methode die we Versterkend Leren met Verifieerbare Beloningen (RLVR) noemen. Met TÜLU 3 introduceren we een multi-taak evaluatieschema voor post-training recepten met ontwikkelings- en ongeziene evaluaties, standaard benchmark implementaties, en aanzienlijke zuivering van bestaande open datasets op genoemde benchmarks. We sluiten af met een analyse en discussie van trainingsmethoden die de prestaties niet betrouwbaar verbeterden. Naast de TÜLU 3 modelgewichten en demo, publiceren we het volledige recept - inclusief datasets voor diverse kernvaardigheden, een robuuste toolkit voor gegevenscuratie en evaluatie, de trainingscode en infrastructuur, en, het belangrijkst, een gedetailleerd rapport voor het reproduceren en verder aanpassen van de TÜLU 3 benadering naar meer domeinen.

English

Language model post-training is applied to refine behaviors and unlock new skills across a wide range of recent language models, but open recipes for applying these techniques lag behind proprietary ones. The underlying training data and recipes for post-training are simultaneously the most important pieces of the puzzle and the portion with the least transparency. To bridge this gap, we introduce T\"ULU 3, a family of fully-open state-of-the-art post-trained models, alongside its data, code, and training recipes, serving as a comprehensive guide for modern post-training techniques. T\"ULU 3, which builds on Llama 3.1 base models, achieves results surpassing the instruct versions of Llama 3.1, Qwen 2.5, Mistral, and even closed models such as GPT-4o-mini and Claude 3.5-Haiku. The training algorithms for our models include supervised finetuning (SFT), Direct Preference Optimization (DPO), and a novel method we call Reinforcement Learning with Verifiable Rewards (RLVR). With T\"ULU 3, we introduce a multi-task evaluation scheme for post-training recipes with development and unseen evaluations, standard benchmark implementations, and substantial decontamination of existing open datasets on said benchmarks. We conclude with analysis and discussion of training methods that did not reliably improve performance. In addition to the T\"ULU 3 model weights and demo, we release the complete recipe -- including datasets for diverse core skills, a robust toolkit for data curation and evaluation, the training code and infrastructure, and, most importantly, a detailed report for reproducing and further adapting the T\"ULU 3 approach to more domains.