SFTMix : Élever l'ajustement du modèle de langage avec la recette Mixup

SFTMix: Elevating Language Model Instruction Tuning with Mixup Recipe

October 7, 2024

Auteurs: Yuxin Xiao, Shujian Zhang, Wenxuan Zhou, Marzyeh Ghassemi, Sanqiang Zhao

cs.AI

Résumé

Pour induire des comportements souhaités dans de grands modèles de langage (LLM) pour des tâches axées sur l'interaction, l'étape de réglage des instructions entraîne généralement les LLM sur des paires instruction-réponse en utilisant la perte de prédiction du jeton suivant (NTP). Les travaux précédents visant à améliorer les performances du réglage des instructions mettent souvent l'accent sur le besoin de jeux de données de fine-tuning supervisés de haute qualité (SFT), qui impliquent généralement un filtrage coûteux des données avec des LLM propriétaires ou une génération de données intensive en main-d'œuvre par des annotateurs humains. Cependant, ces approches n'exploitent pas pleinement les propriétés intrinsèques des jeux de données, ce qui entraîne des coûts informatiques et de main-d'œuvre élevés, limitant ainsi la scalabilité et les gains de performance. Dans cet article, nous proposons SFTMix, une nouvelle méthode qui élève les performances du réglage des instructions au-delà du paradigme NTP conventionnel, sans avoir besoin de jeux de données bien élaborés. En observant que les LLM présentent une confiance inégale à travers l'espace de représentation sémantique, nous soutenons que les exemples avec différents niveaux de confiance devraient jouer des rôles distincts lors du processus de réglage des instructions. Sur la base de cette observation, SFTMix exploite la dynamique d'entraînement pour identifier des exemples avec des niveaux de confiance variables, puis applique une régularisation basée sur Mixup pour atténuer le surajustement sur les exemples confiants tout en propageant les signaux de supervision pour améliorer l'apprentissage sur ceux relativement peu confiants. Cette approche permet à SFTMix de surpasser significativement le NTP sur une large gamme de tâches SFT spécifiques à l'application du suivi des instructions et de la santé, démontrant son adaptabilité à diverses familles de LLM et sa scalabilité à des ensembles de données de toute taille. Des études d'ablation approfondies confirment en outre la robustesse des choix de conception de SFTMix, soulignant sa polyvalence dans l'amélioration constante des performances à travers différents LLM et ensembles de données dans des applications plus larges de traitement du langage naturel.

English

To induce desired behaviors in large language models (LLMs) for interaction-driven tasks, the instruction-tuning stage typically trains LLMs on instruction-response pairs using the next-token prediction (NTP) loss. Previous work aiming to improve instruction-tuning performance often emphasizes the need for higher-quality supervised fine-tuning (SFT) datasets, which typically involves expensive data filtering with proprietary LLMs or labor-intensive data generation by human annotators. However, these approaches do not fully leverage the datasets' intrinsic properties, resulting in high computational and labor costs, thereby limiting scalability and performance gains. In this paper, we propose SFTMix, a novel recipe that elevates instruction-tuning performance beyond the conventional NTP paradigm, without the need for well-curated datasets. Observing that LLMs exhibit uneven confidence across the semantic representation space, we argue that examples with different confidence levels should play distinct roles during the instruction-tuning process. Based on this insight, SFTMix leverages training dynamics to identify examples with varying confidence levels, then applies a Mixup-based regularization to mitigate overfitting on confident examples while propagating supervision signals to improve learning on relatively unconfident ones. This approach enables SFTMix to significantly outperform NTP across a wide range of instruction-following and healthcare domain-specific SFT tasks, demonstrating its adaptability to diverse LLM families and scalability to datasets of any size. Comprehensive ablation studies further verify the robustness of SFTMix's design choices, underscoring its versatility in consistently enhancing performance across different LLMs and datasets in broader natural language processing applications.