TÜLU 3: オープン言語モデルの事後トレーニングにおけるフロンティアの拡大

TÜLU 3: Pushing Frontiers in Open Language Model Post-Training

November 22, 2024

著者: Nathan Lambert, Jacob Morrison, Valentina Pyatkin, Shengyi Huang, Hamish Ivison, Faeze Brahman, Lester James V. Miranda, Alisa Liu, Nouha Dziri, Shane Lyu, Yuling Gu, Saumya Malik, Victoria Graf, Jena D. Hwang, Jiangjiang Yang, Ronan Le Bras, Oyvind Tafjord, Chris Wilhelm, Luca Soldaini, Noah A. Smith, Yizhong Wang, Pradeep Dasigi, Hannaneh Hajishirzi

cs.AI

要旨

言語モデルの事後トレーニングは、広範囲にわたる最新の言語モデルで行動を洗練させ、新しいスキルを開発するために適用されていますが、これらの技術を適用するためのオープンな手順は、プロプライエタリな手法に遅れをとっています。事後トレーニングの基礎となるトレーニングデータや手順は、パズルの中で最も重要な部分でありながら、最も透明性に欠ける部分です。このギャップを埋めるために、私たちはT\"ULU 3を紹介します。これは最新の事後トレーニング技術の包括的なガイドとして、完全にオープンな最先端の事後トレーニングモデルのファミリーであり、そのデータ、コード、トレーニング手順を提供します。T\"ULU 3は、Llama 3.1ベースモデルを基盤としており、Llama 3.1、Qwen 2.5、Mistralなどのinstructバージョン、さらにはGPT-4o-miniやClaude 3.5-Haikuなどのクローズドモデルを凌駕する結果を達成しています。私たちのモデルのトレーニングアルゴリズムには、教師ありファインチューニング（SFT）、直接的な選好最適化（DPO）、およびReinforcement Learning with Verifiable Rewards（RLVR）と呼ばれる新しい手法が含まれています。T\"ULU 3では、開発および未知の評価、標準的なベンチマーク実装、およびこれらのベンチマークにおける既存のオープンデータセットの実質的な浄化を伴う、事後トレーニング手順のマルチタスク評価スキームを導入します。信頼性のないパフォーマンス向上をもたらさなかったトレーニング手法の分析と議論で締めくくります。 T\"ULU 3モデルの重みとデモに加えて、私たちは、多様な基本スキル用のデータセット、データキュレーションと評価のための堅牢なツールキット、トレーニングコードとインフラ、そして、T\"ULU 3アプローチを他の領域にさらに適応するための詳細なレポートを再現およびさらなる適応のために公開します。

English

Language model post-training is applied to refine behaviors and unlock new skills across a wide range of recent language models, but open recipes for applying these techniques lag behind proprietary ones. The underlying training data and recipes for post-training are simultaneously the most important pieces of the puzzle and the portion with the least transparency. To bridge this gap, we introduce T\"ULU 3, a family of fully-open state-of-the-art post-trained models, alongside its data, code, and training recipes, serving as a comprehensive guide for modern post-training techniques. T\"ULU 3, which builds on Llama 3.1 base models, achieves results surpassing the instruct versions of Llama 3.1, Qwen 2.5, Mistral, and even closed models such as GPT-4o-mini and Claude 3.5-Haiku. The training algorithms for our models include supervised finetuning (SFT), Direct Preference Optimization (DPO), and a novel method we call Reinforcement Learning with Verifiable Rewards (RLVR). With T\"ULU 3, we introduce a multi-task evaluation scheme for post-training recipes with development and unseen evaluations, standard benchmark implementations, and substantial decontamination of existing open datasets on said benchmarks. We conclude with analysis and discussion of training methods that did not reliably improve performance. In addition to the T\"ULU 3 model weights and demo, we release the complete recipe -- including datasets for diverse core skills, a robust toolkit for data curation and evaluation, the training code and infrastructure, and, most importantly, a detailed report for reproducing and further adapting the T\"ULU 3 approach to more domains.