Un emulador para el ajuste fino de modelos de lenguaje grandes utilizando modelos de lenguaje pequeños

An Emulator for Fine-Tuning Large Language Models using Small Language Models

October 19, 2023

Autores: Eric Mitchell, Rafael Rafailov, Archit Sharma, Chelsea Finn, Christopher D. Manning

cs.AI

Resumen

Los modelos de lenguaje (LM) ampliamente utilizados suelen construirse mediante la ampliación de un pipeline de entrenamiento de dos etapas: una etapa de pre-entrenamiento que utiliza un conjunto de datos de texto muy grande y diverso, y una etapa de ajuste fino (a veces denominada 'alineación') que utiliza ejemplos específicos u otras especificaciones de comportamientos deseados. Aunque se ha hipotetizado que el conocimiento y las habilidades provienen del pre-entrenamiento, y que el ajuste fino principalmente filtra este conocimiento y conjunto de habilidades, esta intuición no ha sido ampliamente probada. Para ayudar en este proceso, introducimos una técnica novedosa para desacoplar el conocimiento y las habilidades adquiridas en estas dos etapas, permitiendo una respuesta directa a la pregunta: "¿Qué pasaría si combináramos el conocimiento aprendido por un modelo grande durante el pre-entrenamiento con el conocimiento aprendido por un modelo pequeño durante el ajuste fino (o viceversa)?" Utilizando un marco basado en RL derivado de desarrollos recientes en el aprendizaje a partir de preferencias humanas, introducimos el ajuste fino emulado (EFT), un método práctico y fundamentado para muestrear a partir de una distribución que aproxima (o 'emula') el resultado del pre-entrenamiento y el ajuste fino a diferentes escalas. Nuestros experimentos con EFT muestran que ampliar el ajuste fino tiende a mejorar la utilidad, mientras que ampliar el pre-entrenamiento tiende a mejorar la factualidad. Más allá de desacoplar la escala, demostramos que EFT permite el ajuste en tiempo de prueba de rasgos conductuales en competencia, como la utilidad y la inocuidad, sin necesidad de entrenamiento adicional. Finalmente, un caso especial de ajuste fino emulado, que denominamos escalado de LM, evita el ajuste fino intensivo en recursos de modelos grandes pre-entrenados al ensamblarlos con modelos pequeños ajustados, esencialmente emulando el resultado de ajustar el modelo grande pre-entrenado. El escalado mejora consistentemente la utilidad y la factualidad de los modelos que siguen instrucciones en las familias Llama, Llama-2 y Falcon, sin necesidad de hiperparámetros o entrenamiento adicional.

English

Widely used language models (LMs) are typically built by scaling up a two-stage training pipeline: a pre-training stage that uses a very large, diverse dataset of text and a fine-tuning (sometimes, 'alignment') stage that uses targeted examples or other specifications of desired behaviors. While it has been hypothesized that knowledge and skills come from pre-training, and fine-tuning mostly filters this knowledge and skillset, this intuition has not been extensively tested. To aid in doing so, we introduce a novel technique for decoupling the knowledge and skills gained in these two stages, enabling a direct answer to the question, "What would happen if we combined the knowledge learned by a large model during pre-training with the knowledge learned by a small model during fine-tuning (or vice versa)?" Using an RL-based framework derived from recent developments in learning from human preferences, we introduce emulated fine-tuning (EFT), a principled and practical method for sampling from a distribution that approximates (or 'emulates') the result of pre-training and fine-tuning at different scales. Our experiments with EFT show that scaling up fine-tuning tends to improve helpfulness, while scaling up pre-training tends to improve factuality. Beyond decoupling scale, we show that EFT enables test-time adjustment of competing behavioral traits like helpfulness and harmlessness without additional training. Finally, a special case of emulated fine-tuning, which we call LM up-scaling, avoids resource-intensive fine-tuning of large pre-trained models by ensembling them with small fine-tuned models, essentially emulating the result of fine-tuning the large pre-trained model. Up-scaling consistently improves helpfulness and factuality of instruction-following models in the Llama, Llama-2, and Falcon families, without additional hyperparameters or training.