TÜLU 3: Vorstoß in die Grenzbereiche des Open Language Model Post-Trainings

TÜLU 3: Pushing Frontiers in Open Language Model Post-Training

November 22, 2024

Autoren: Nathan Lambert, Jacob Morrison, Valentina Pyatkin, Shengyi Huang, Hamish Ivison, Faeze Brahman, Lester James V. Miranda, Alisa Liu, Nouha Dziri, Shane Lyu, Yuling Gu, Saumya Malik, Victoria Graf, Jena D. Hwang, Jiangjiang Yang, Ronan Le Bras, Oyvind Tafjord, Chris Wilhelm, Luca Soldaini, Noah A. Smith, Yizhong Wang, Pradeep Dasigi, Hannaneh Hajishirzi

cs.AI

Zusammenfassung

Die Post-Training von Sprachmodellen wird angewendet, um Verhaltensweisen zu verfeinern und neue Fähigkeiten bei einer Vielzahl von aktuellen Sprachmodellen zu erschließen, jedoch hinken offene Anleitungen zur Anwendung dieser Techniken den proprietären hinterher. Die zugrunde liegenden Trainingsdaten und Anleitungen für das Post-Training sind gleichzeitig die wichtigsten Puzzlestücke und der Bereich mit der geringsten Transparenz. Um diese Lücke zu schließen, stellen wir TÜLU 3 vor, eine Familie von vollständig offenen, hochmodernen post-trainierten Modellen, zusammen mit ihren Daten, dem Code und den Trainingsanleitungen, die als umfassender Leitfaden für moderne Post-Training-Techniken dienen. TÜLU 3, das auf den Basismodellen von Llama 3.1 aufbaut, erzielt Ergebnisse, die die instruktiven Versionen von Llama 3.1, Qwen 2.5, Mistral und sogar geschlossene Modelle wie GPT-4o-mini und Claude 3.5-Haiku übertreffen. Die Trainingsalgorithmen für unsere Modelle umfassen überwachtes Feintuning (SFT), Direkte Präferenzoptimierung (DPO) und eine neuartige Methode, die wir Verstärkendes Lernen mit überprüfbaren Belohnungen (RLVR) nennen. Mit TÜLU 3 führen wir ein Multi-Task-Bewertungsschema für Post-Training-Anleitungen mit Entwicklungs- und ungesehenen Bewertungen, Standard-Benchmark-Implementierungen und eine umfangreiche Entkontaminierung vorhandener offener Datensätze zu diesen Benchmarks ein. Wir schließen mit einer Analyse und Diskussion von Trainingsmethoden, die die Leistung nicht zuverlässig verbessert haben. Zusätzlich zu den Modellgewichten und der Demo von TÜLU 3 veröffentlichen wir das vollständige Rezept - einschließlich Datensätzen für verschiedene Kernfähigkeiten, einem robusten Toolkit für die Datenkuratierung und -bewertung, dem Trainingscode und der Infrastruktur sowie, am wichtigsten, einem detaillierten Bericht zur Reproduktion und weiteren Anpassung des Ansatzes von TÜLU 3 an weitere Bereiche.

English

Language model post-training is applied to refine behaviors and unlock new skills across a wide range of recent language models, but open recipes for applying these techniques lag behind proprietary ones. The underlying training data and recipes for post-training are simultaneously the most important pieces of the puzzle and the portion with the least transparency. To bridge this gap, we introduce T\"ULU 3, a family of fully-open state-of-the-art post-trained models, alongside its data, code, and training recipes, serving as a comprehensive guide for modern post-training techniques. T\"ULU 3, which builds on Llama 3.1 base models, achieves results surpassing the instruct versions of Llama 3.1, Qwen 2.5, Mistral, and even closed models such as GPT-4o-mini and Claude 3.5-Haiku. The training algorithms for our models include supervised finetuning (SFT), Direct Preference Optimization (DPO), and a novel method we call Reinforcement Learning with Verifiable Rewards (RLVR). With T\"ULU 3, we introduce a multi-task evaluation scheme for post-training recipes with development and unseen evaluations, standard benchmark implementations, and substantial decontamination of existing open datasets on said benchmarks. We conclude with analysis and discussion of training methods that did not reliably improve performance. In addition to the T\"ULU 3 model weights and demo, we release the complete recipe -- including datasets for diverse core skills, a robust toolkit for data curation and evaluation, the training code and infrastructure, and, most importantly, a detailed report for reproducing and further adapting the T\"ULU 3 approach to more domains.