SFTMix: Verhoging van de afstemming van taalmodelinstructies met Mixup-recept

SFTMix: Elevating Language Model Instruction Tuning with Mixup Recipe

October 7, 2024

Auteurs: Yuxin Xiao, Shujian Zhang, Wenxuan Zhou, Marzyeh Ghassemi, Sanqiang Zhao

cs.AI

Samenvatting

Om gewenst gedrag op te wekken in grote taalmodellen (LLM's) voor taken die door interactie worden aangestuurd, traint het instructie-afstemmingsstadium doorgaans LLM's op instructie-responsparen met behulp van het verlies bij voorspelling van het volgende token (NTP). Eerdere onderzoeken die gericht zijn op het verbeteren van de prestaties van instructie-afstemming benadrukken vaak de noodzaak van hoogwaardige datasets voor begeleid fijnafstemmen (SFT), die doorgaans dure gegevensfiltering met eigen LLM's of arbeidsintensieve gegevensgeneratie door menselijke annotators omvatten. Deze benaderingen benutten echter niet volledig de intrinsieke eigenschappen van de datasets, wat resulteert in hoge computationele en arbeidskosten, waardoor schaalbaarheid en prestatiewinsten worden beperkt. In dit artikel stellen we SFTMix voor, een nieuw recept dat de prestaties van instructie-afstemming verhoogt voorbij het conventionele NTP-paradigma, zonder de noodzaak van goed samengestelde datasets. Door te observeren dat LLM's ongelijke zelfverzekerdheid vertonen over de semantische representatieruimte, betogen we dat voorbeelden met verschillende zelfvertrouwensniveaus verschillende rollen zouden moeten spelen tijdens het instructie-afstemmingsproces. Op basis van dit inzicht maakt SFTMix gebruik van trainingsdynamiek om voorbeelden met variërende zelfvertrouwensniveaus te identificeren, past vervolgens een regulering toe op basis van Mixup om overpassing op zelfverzekerde voorbeelden te verminderen terwijl toezichtsignalen worden doorgegeven om het leren op relatief onzekere voorbeelden te verbeteren. Deze benadering stelt SFTMix in staat om aanzienlijk beter te presteren dan NTP over een breed scala van taken voor het volgen van instructies en domeinspecifieke SFT-taken in de gezondheidszorg, waarbij de aanpasbaarheid aan diverse LLM-families en schaalbaarheid naar datasets van elke omvang wordt aangetoond. Uitgebreide ablatiestudies bevestigen verder de robuustheid van de ontwerpkeuzes van SFTMix, waarbij de veelzijdigheid wordt benadrukt in het consequent verbeteren van de prestaties over verschillende LLM's en datasets in bredere toepassingen van natuurlijke taalverwerking.

English

To induce desired behaviors in large language models (LLMs) for interaction-driven tasks, the instruction-tuning stage typically trains LLMs on instruction-response pairs using the next-token prediction (NTP) loss. Previous work aiming to improve instruction-tuning performance often emphasizes the need for higher-quality supervised fine-tuning (SFT) datasets, which typically involves expensive data filtering with proprietary LLMs or labor-intensive data generation by human annotators. However, these approaches do not fully leverage the datasets' intrinsic properties, resulting in high computational and labor costs, thereby limiting scalability and performance gains. In this paper, we propose SFTMix, a novel recipe that elevates instruction-tuning performance beyond the conventional NTP paradigm, without the need for well-curated datasets. Observing that LLMs exhibit uneven confidence across the semantic representation space, we argue that examples with different confidence levels should play distinct roles during the instruction-tuning process. Based on this insight, SFTMix leverages training dynamics to identify examples with varying confidence levels, then applies a Mixup-based regularization to mitigate overfitting on confident examples while propagating supervision signals to improve learning on relatively unconfident ones. This approach enables SFTMix to significantly outperform NTP across a wide range of instruction-following and healthcare domain-specific SFT tasks, demonstrating its adaptability to diverse LLM families and scalability to datasets of any size. Comprehensive ablation studies further verify the robustness of SFTMix's design choices, underscoring its versatility in consistently enhancing performance across different LLMs and datasets in broader natural language processing applications.