TÜLU 3: Expandindo Fronteiras no Pós-Treinamento de Modelos de Linguagem Aberta

TÜLU 3: Pushing Frontiers in Open Language Model Post-Training

November 22, 2024

Autores: Nathan Lambert, Jacob Morrison, Valentina Pyatkin, Shengyi Huang, Hamish Ivison, Faeze Brahman, Lester James V. Miranda, Alisa Liu, Nouha Dziri, Shane Lyu, Yuling Gu, Saumya Malik, Victoria Graf, Jena D. Hwang, Jiangjiang Yang, Ronan Le Bras, Oyvind Tafjord, Chris Wilhelm, Luca Soldaini, Noah A. Smith, Yizhong Wang, Pradeep Dasigi, Hannaneh Hajishirzi

cs.AI

Resumo

A pós-treinamento do modelo de linguagem é aplicada para refinar comportamentos e desbloquear novas habilidades em uma ampla gama de modelos de linguagem recentes, mas as receitas abertas para aplicar essas técnicas estão atrasadas em relação às proprietárias. Os dados de treinamento subjacentes e as receitas para pós-treinamento são simultaneamente as peças mais importantes do quebra-cabeça e a parte com menos transparência. Para preencher essa lacuna, apresentamos o T\"ULU 3, uma família de modelos pós-treinados de última geração totalmente abertos, juntamente com seus dados, código e receitas de treinamento, servindo como um guia abrangente para técnicas modernas de pós-treinamento. O T\"ULU 3, que se baseia nos modelos base do Llama 3.1, alcança resultados superiores às versões instrutórias do Llama 3.1, Qwen 2.5, Mistral, e até mesmo modelos fechados como GPT-4o-mini e Claude 3.5-Haiku. Os algoritmos de treinamento para nossos modelos incluem ajuste fino supervisionado (SFT), Otimização Direta de Preferência (DPO), e um novo método que chamamos de Aprendizado por Reforço com Recompensas Verificáveis (RLVR). Com o T\"ULU 3, introduzimos um esquema de avaliação multi-tarefa para receitas de pós-treinamento com avaliações de desenvolvimento e não vistas, implementações de benchmark padrão, e descontaminação substancial de conjuntos de dados abertos existentes nos referidos benchmarks. Concluímos com análise e discussão de métodos de treinamento que não melhoraram confiavelmente o desempenho. Além dos pesos e demonstração do modelo T\"ULU 3, liberamos a receita completa - incluindo conjuntos de dados para diversas habilidades principais, um kit robusto para curadoria e avaliação de dados, o código de treinamento e infraestrutura, e, mais importante, um relatório detalhado para reproduzir e adaptar ainda mais a abordagem T\"ULU 3 para mais domínios.

English

Language model post-training is applied to refine behaviors and unlock new skills across a wide range of recent language models, but open recipes for applying these techniques lag behind proprietary ones. The underlying training data and recipes for post-training are simultaneously the most important pieces of the puzzle and the portion with the least transparency. To bridge this gap, we introduce T\"ULU 3, a family of fully-open state-of-the-art post-trained models, alongside its data, code, and training recipes, serving as a comprehensive guide for modern post-training techniques. T\"ULU 3, which builds on Llama 3.1 base models, achieves results surpassing the instruct versions of Llama 3.1, Qwen 2.5, Mistral, and even closed models such as GPT-4o-mini and Claude 3.5-Haiku. The training algorithms for our models include supervised finetuning (SFT), Direct Preference Optimization (DPO), and a novel method we call Reinforcement Learning with Verifiable Rewards (RLVR). With T\"ULU 3, we introduce a multi-task evaluation scheme for post-training recipes with development and unseen evaluations, standard benchmark implementations, and substantial decontamination of existing open datasets on said benchmarks. We conclude with analysis and discussion of training methods that did not reliably improve performance. In addition to the T\"ULU 3 model weights and demo, we release the complete recipe -- including datasets for diverse core skills, a robust toolkit for data curation and evaluation, the training code and infrastructure, and, most importantly, a detailed report for reproducing and further adapting the T\"ULU 3 approach to more domains.