TÜLU 3: Avanzando en los Límites en el Post-Entrenamiento de Modelos de Lenguaje Abiertos

TÜLU 3: Pushing Frontiers in Open Language Model Post-Training

November 22, 2024

Autores: Nathan Lambert, Jacob Morrison, Valentina Pyatkin, Shengyi Huang, Hamish Ivison, Faeze Brahman, Lester James V. Miranda, Alisa Liu, Nouha Dziri, Shane Lyu, Yuling Gu, Saumya Malik, Victoria Graf, Jena D. Hwang, Jiangjiang Yang, Ronan Le Bras, Oyvind Tafjord, Chris Wilhelm, Luca Soldaini, Noah A. Smith, Yizhong Wang, Pradeep Dasigi, Hannaneh Hajishirzi

cs.AI

Resumen

La post-entrenamiento del modelo de lenguaje se aplica para refinar comportamientos y desbloquear nuevas habilidades en una amplia gama de modelos de lenguaje recientes, pero las recetas abiertas para aplicar estas técnicas se quedan atrás de las propietarias. Los datos de entrenamiento subyacentes y las recetas para la post-entrenamiento son simultáneamente las piezas más importantes del rompecabezas y la porción con menos transparencia. Para cerrar esta brecha, presentamos TÜLU 3, una familia de modelos post-entrenados de vanguardia totalmente abiertos, junto con sus datos, código y recetas de entrenamiento, sirviendo como una guía integral para las técnicas modernas de post-entrenamiento. TÜLU 3, que se basa en los modelos base de Llama 3.1, logra resultados que superan a las versiones instructivas de Llama 3.1, Qwen 2.5, Mistral e incluso modelos cerrados como GPT-4o-mini y Claude 3.5-Haiku. Los algoritmos de entrenamiento para nuestros modelos incluyen ajuste fino supervisado (SFT), Optimización Directa de Preferencias (DPO) y un método novedoso que llamamos Aprendizaje por Refuerzo con Recompensas Verificables (RLVR). Con TÜLU 3, presentamos un esquema de evaluación multi-tarea para recetas de post-entrenamiento con evaluaciones de desarrollo y no vistas, implementaciones de referencia estándar y una descontaminación sustancial de conjuntos de datos abiertos existentes en dichas pruebas. Concluimos con un análisis y discusión de métodos de entrenamiento que no mejoraron el rendimiento de manera confiable. Además de los pesos del modelo TÜLU 3 y la demostración, publicamos la receta completa, que incluye conjuntos de datos para diversas habilidades básicas, un conjunto de herramientas robusto para curación y evaluación de datos, el código de entrenamiento y la infraestructura, y, lo más importante, un informe detallado para reproducir y adaptar aún más el enfoque de TÜLU 3 a más dominios.

English

Language model post-training is applied to refine behaviors and unlock new skills across a wide range of recent language models, but open recipes for applying these techniques lag behind proprietary ones. The underlying training data and recipes for post-training are simultaneously the most important pieces of the puzzle and the portion with the least transparency. To bridge this gap, we introduce T\"ULU 3, a family of fully-open state-of-the-art post-trained models, alongside its data, code, and training recipes, serving as a comprehensive guide for modern post-training techniques. T\"ULU 3, which builds on Llama 3.1 base models, achieves results surpassing the instruct versions of Llama 3.1, Qwen 2.5, Mistral, and even closed models such as GPT-4o-mini and Claude 3.5-Haiku. The training algorithms for our models include supervised finetuning (SFT), Direct Preference Optimization (DPO), and a novel method we call Reinforcement Learning with Verifiable Rewards (RLVR). With T\"ULU 3, we introduce a multi-task evaluation scheme for post-training recipes with development and unseen evaluations, standard benchmark implementations, and substantial decontamination of existing open datasets on said benchmarks. We conclude with analysis and discussion of training methods that did not reliably improve performance. In addition to the T\"ULU 3 model weights and demo, we release the complete recipe -- including datasets for diverse core skills, a robust toolkit for data curation and evaluation, the training code and infrastructure, and, most importantly, a detailed report for reproducing and further adapting the T\"ULU 3 approach to more domains.