SFTMix: Mejorando la Ajuste de Instrucciones de Modelos de Lenguaje con la Receta Mixup

SFTMix: Elevating Language Model Instruction Tuning with Mixup Recipe

October 7, 2024

Autores: Yuxin Xiao, Shujian Zhang, Wenxuan Zhou, Marzyeh Ghassemi, Sanqiang Zhao

cs.AI

Resumen

Para inducir comportamientos deseados en modelos de lenguaje grandes (LLMs) para tareas impulsadas por interacción, la etapa de ajuste de instrucciones generalmente entrena a los LLMs en pares de instrucción-respuesta utilizando la pérdida de predicción del siguiente token (NTP). Trabajos anteriores que buscan mejorar el rendimiento del ajuste de instrucciones a menudo enfatizan la necesidad de conjuntos de datos de ajuste fino supervisado (SFT) de alta calidad, que generalmente implica un costoso filtrado de datos con LLMs propietarios o una generación de datos intensiva en mano de obra por anotadores humanos. Sin embargo, estos enfoques no aprovechan completamente las propiedades intrínsecas de los conjuntos de datos, lo que resulta en altos costos computacionales y laborales, limitando así la escalabilidad y las mejoras de rendimiento. En este documento, proponemos SFTMix, una novedosa receta que eleva el rendimiento del ajuste de instrucciones más allá del paradigma NTP convencional, sin necesidad de conjuntos de datos bien curados. Observando que los LLMs muestran una confianza desigual en todo el espacio de representación semántica, argumentamos que los ejemplos con diferentes niveles de confianza deberían desempeñar roles distintos durante el proceso de ajuste de instrucciones. Basándonos en esta idea, SFTMix aprovecha la dinámica de entrenamiento para identificar ejemplos con diferentes niveles de confianza, luego aplica una regularización basada en Mixup para mitigar el sobreajuste en ejemplos confiables mientras propaga señales de supervisión para mejorar el aprendizaje en los menos confiables. Este enfoque permite que SFTMix supere significativamente a NTP en una amplia gama de tareas de SFT específicas de seguir instrucciones y del dominio de la salud, demostrando su adaptabilidad a diversas familias de LLMs y escalabilidad a conjuntos de datos de cualquier tamaño. Estudios exhaustivos de abstracción verifican aún más la solidez de las elecciones de diseño de SFTMix, subrayando su versatilidad para mejorar consistentemente el rendimiento en diferentes LLMs y conjuntos de datos en aplicaciones más amplias de procesamiento de lenguaje natural.

English

To induce desired behaviors in large language models (LLMs) for interaction-driven tasks, the instruction-tuning stage typically trains LLMs on instruction-response pairs using the next-token prediction (NTP) loss. Previous work aiming to improve instruction-tuning performance often emphasizes the need for higher-quality supervised fine-tuning (SFT) datasets, which typically involves expensive data filtering with proprietary LLMs or labor-intensive data generation by human annotators. However, these approaches do not fully leverage the datasets' intrinsic properties, resulting in high computational and labor costs, thereby limiting scalability and performance gains. In this paper, we propose SFTMix, a novel recipe that elevates instruction-tuning performance beyond the conventional NTP paradigm, without the need for well-curated datasets. Observing that LLMs exhibit uneven confidence across the semantic representation space, we argue that examples with different confidence levels should play distinct roles during the instruction-tuning process. Based on this insight, SFTMix leverages training dynamics to identify examples with varying confidence levels, then applies a Mixup-based regularization to mitigate overfitting on confident examples while propagating supervision signals to improve learning on relatively unconfident ones. This approach enables SFTMix to significantly outperform NTP across a wide range of instruction-following and healthcare domain-specific SFT tasks, demonstrating its adaptability to diverse LLM families and scalability to datasets of any size. Comprehensive ablation studies further verify the robustness of SFTMix's design choices, underscoring its versatility in consistently enhancing performance across different LLMs and datasets in broader natural language processing applications.