SFTMix: Elevando o Ajuste de Instruções do Modelo de Linguagem com a Receita Mixup

SFTMix: Elevating Language Model Instruction Tuning with Mixup Recipe

October 7, 2024

Autores: Yuxin Xiao, Shujian Zhang, Wenxuan Zhou, Marzyeh Ghassemi, Sanqiang Zhao

cs.AI

Resumo

Para induzir comportamentos desejados em grandes modelos de linguagem (LLMs) para tarefas orientadas à interação, a etapa de ajuste de instruções geralmente treina LLMs em pares de instrução-resposta usando a perda de previsão do próximo token (NTP). Trabalhos anteriores que visam melhorar o desempenho do ajuste de instruções frequentemente enfatizam a necessidade de conjuntos de dados de ajuste fino supervisionado (SFT) de alta qualidade, que geralmente envolve filtragem de dados cara com LLMs proprietários ou geração de dados intensiva por anotadores humanos. No entanto, essas abordagens não aproveitam totalmente as propriedades intrínsecas dos conjuntos de dados, resultando em altos custos computacionais e trabalhistas, limitando assim a escalabilidade e os ganhos de desempenho. Neste artigo, propomos o SFTMix, uma nova abordagem que eleva o desempenho do ajuste de instruções além do paradigma convencional NTP, sem a necessidade de conjuntos de dados bem curados. Observando que os LLMs exibem confiança desigual em todo o espaço de representação semântica, argumentamos que exemplos com diferentes níveis de confiança devem desempenhar papéis distintos durante o processo de ajuste de instruções. Com base nessa percepção, o SFTMix aproveita a dinâmica de treinamento para identificar exemplos com diferentes níveis de confiança, em seguida, aplica uma regularização baseada em Mixup para mitigar o overfitting em exemplos confiantes enquanto propaga sinais de supervisão para melhorar o aprendizado em exemplos relativamente não confiantes. Essa abordagem permite que o SFTMix supere significativamente o NTP em uma ampla gama de tarefas de SFT específicas de seguir instruções e do domínio da saúde, demonstrando sua adaptabilidade a diversas famílias de LLMs e escalabilidade para conjuntos de dados de qualquer tamanho. Estudos abrangentes de ablação verificam ainda a robustez das escolhas de design do SFTMix, destacando sua versatilidade em aprimorar consistentemente o desempenho em diferentes LLMs e conjuntos de dados em aplicações mais amplas de processamento de linguagem natural.

English

To induce desired behaviors in large language models (LLMs) for interaction-driven tasks, the instruction-tuning stage typically trains LLMs on instruction-response pairs using the next-token prediction (NTP) loss. Previous work aiming to improve instruction-tuning performance often emphasizes the need for higher-quality supervised fine-tuning (SFT) datasets, which typically involves expensive data filtering with proprietary LLMs or labor-intensive data generation by human annotators. However, these approaches do not fully leverage the datasets' intrinsic properties, resulting in high computational and labor costs, thereby limiting scalability and performance gains. In this paper, we propose SFTMix, a novel recipe that elevates instruction-tuning performance beyond the conventional NTP paradigm, without the need for well-curated datasets. Observing that LLMs exhibit uneven confidence across the semantic representation space, we argue that examples with different confidence levels should play distinct roles during the instruction-tuning process. Based on this insight, SFTMix leverages training dynamics to identify examples with varying confidence levels, then applies a Mixup-based regularization to mitigate overfitting on confident examples while propagating supervision signals to improve learning on relatively unconfident ones. This approach enables SFTMix to significantly outperform NTP across a wide range of instruction-following and healthcare domain-specific SFT tasks, demonstrating its adaptability to diverse LLM families and scalability to datasets of any size. Comprehensive ablation studies further verify the robustness of SFTMix's design choices, underscoring its versatility in consistently enhancing performance across different LLMs and datasets in broader natural language processing applications.