SFTMix: Potenziare il Tuning dell'Istruzione del Modello Linguistico con la Ricetta Mixup

SFTMix: Elevating Language Model Instruction Tuning with Mixup Recipe

October 7, 2024

Autori: Yuxin Xiao, Shujian Zhang, Wenxuan Zhou, Marzyeh Ghassemi, Sanqiang Zhao

cs.AI

Abstract

Per indurre comportamenti desiderati nei grandi modelli linguistici (LLM) per compiti guidati dall'interazione, la fase di sintonizzazione delle istruzioni di solito addestra i LLM su coppie istruzione-risposta utilizzando la perdita di previsione del token successivo (NTP). Lavori precedenti mirati a migliorare le prestazioni della sintonizzazione delle istruzioni spesso sottolineano la necessità di set di dati di sintonizzazione supervisionata di alta qualità (SFT), che di solito comporta costosi filtri di dati con LLM proprietari o generazione di dati intensiva del lavoro da parte di annotatori umani. Tuttavia, questi approcci non sfruttano appieno le proprietà intrinseche dei set di dati, con conseguente elevati costi computazionali e di lavoro, limitando così la scalabilità e i guadagni di prestazioni. In questo articolo, proponiamo SFTMix, una nuova ricetta che eleva le prestazioni della sintonizzazione delle istruzioni oltre il paradigma NTP convenzionale, senza la necessità di set di dati ben curati. Osservando che i LLM mostrano una fiducia disomogenea nello spazio di rappresentazione semantica, sosteniamo che gli esempi con diversi livelli di fiducia dovrebbero svolgere ruoli distinti durante il processo di sintonizzazione delle istruzioni. Basandoci su questa intuizione, SFTMix sfrutta la dinamica di addestramento per identificare esempi con diversi livelli di fiducia, quindi applica una regolarizzazione basata su Mixup per mitigare l'overfitting sugli esempi fiduciosi propagando segnali di supervisione per migliorare l'apprendimento su quelli relativamente non fiduciosi. Questo approccio consente a SFTMix di superare significativamente NTP in una vasta gamma di compiti di seguire le istruzioni e specifici del dominio sanitario SFT, dimostrando la sua adattabilità a diverse famiglie di LLM e scalabilità a set di dati di qualsiasi dimensione. Studi di ablation completi verificano ulteriormente la solidità delle scelte progettuali di SFTMix, sottolineando la sua versatilità nel migliorare costantemente le prestazioni tra diversi LLM e set di dati nelle più ampie applicazioni di elaborazione del linguaggio naturale.

English

To induce desired behaviors in large language models (LLMs) for interaction-driven tasks, the instruction-tuning stage typically trains LLMs on instruction-response pairs using the next-token prediction (NTP) loss. Previous work aiming to improve instruction-tuning performance often emphasizes the need for higher-quality supervised fine-tuning (SFT) datasets, which typically involves expensive data filtering with proprietary LLMs or labor-intensive data generation by human annotators. However, these approaches do not fully leverage the datasets' intrinsic properties, resulting in high computational and labor costs, thereby limiting scalability and performance gains. In this paper, we propose SFTMix, a novel recipe that elevates instruction-tuning performance beyond the conventional NTP paradigm, without the need for well-curated datasets. Observing that LLMs exhibit uneven confidence across the semantic representation space, we argue that examples with different confidence levels should play distinct roles during the instruction-tuning process. Based on this insight, SFTMix leverages training dynamics to identify examples with varying confidence levels, then applies a Mixup-based regularization to mitigate overfitting on confident examples while propagating supervision signals to improve learning on relatively unconfident ones. This approach enables SFTMix to significantly outperform NTP across a wide range of instruction-following and healthcare domain-specific SFT tasks, demonstrating its adaptability to diverse LLM families and scalability to datasets of any size. Comprehensive ablation studies further verify the robustness of SFTMix's design choices, underscoring its versatility in consistently enhancing performance across different LLMs and datasets in broader natural language processing applications.