SFTMix: Verbesserung der Feinabstimmung von Sprachmodellanweisungen mit der Mixup-Methode

SFTMix: Elevating Language Model Instruction Tuning with Mixup Recipe

October 7, 2024

Autoren: Yuxin Xiao, Shujian Zhang, Wenxuan Zhou, Marzyeh Ghassemi, Sanqiang Zhao

cs.AI

Zusammenfassung

Um gewünschtes Verhalten in großen Sprachmodellen (LLMs) für interaktionsgesteuerte Aufgaben zu induzieren, trainiert die Anweisungsabstimmungsphase in der Regel LLMs anhand von Anweisungs-Antwort-Paaren unter Verwendung des Verlusts der nächsten Token-Vorhersage (NTP). Frühere Arbeiten, die darauf abzielen, die Leistung der Anweisungsabstimmung zu verbessern, betonen oft die Notwendigkeit von qualitativ hochwertigen überwachten Feinabstimmungsdatensätzen, die in der Regel teure Datenauswahl mit proprietären LLMs oder arbeitsintensive Datenerzeugung durch menschliche Annotatoren beinhalten. Diese Ansätze nutzen jedoch nicht vollständig die intrinsischen Eigenschaften der Datensätze, was zu hohen Rechen- und Arbeitskosten führt und somit die Skalierbarkeit und Leistungssteigerungen einschränkt. In diesem Artikel schlagen wir SFTMix vor, ein neuartiges Rezept, das die Leistung der Anweisungsabstimmung über das herkömmliche NTP-Paradigma hinaus hebt, ohne auf sorgfältig kuratierte Datensätze angewiesen zu sein. Unter der Beobachtung, dass LLMs eine ungleichmäßige Zuversicht über den semantischen Repräsentationsraum zeigen, argumentieren wir, dass Beispiele mit unterschiedlichen Zuversichtsniveaus während des Anweisungsabstimmungsprozesses unterschiedliche Rollen spielen sollten. Basierend auf dieser Erkenntnis nutzt SFTMix Trainingsdynamiken, um Beispiele mit unterschiedlichen Zuversichtsniveaus zu identifizieren, wendet dann eine Mixup-basierte Regularisierung an, um Überanpassung an zuversichtliche Beispiele zu mildern, während gleichzeitig Überwachungssignale zur Verbesserung des Lernens bei relativ unzuversichtlichen Beispielen propagiert werden. Dieser Ansatz ermöglicht es SFTMix, NTP signifikant in einer Vielzahl von Anweisungsfolge- und gesundheitsspezifischen SFT-Aufgaben zu übertreffen, was seine Anpassungsfähigkeit an verschiedene LLM-Familien und die Skalierbarkeit auf Datensätze beliebiger Größe zeigt. Umfassende Ablationsstudien bestätigen weiterhin die Robustheit der Designentscheidungen von SFTMix und unterstreichen seine Vielseitigkeit bei der kontinuierlichen Verbesserung der Leistung verschiedener LLMs und Datensätze in breiteren Anwendungen der natürlichen Sprachverarbeitung.

English

To induce desired behaviors in large language models (LLMs) for interaction-driven tasks, the instruction-tuning stage typically trains LLMs on instruction-response pairs using the next-token prediction (NTP) loss. Previous work aiming to improve instruction-tuning performance often emphasizes the need for higher-quality supervised fine-tuning (SFT) datasets, which typically involves expensive data filtering with proprietary LLMs or labor-intensive data generation by human annotators. However, these approaches do not fully leverage the datasets' intrinsic properties, resulting in high computational and labor costs, thereby limiting scalability and performance gains. In this paper, we propose SFTMix, a novel recipe that elevates instruction-tuning performance beyond the conventional NTP paradigm, without the need for well-curated datasets. Observing that LLMs exhibit uneven confidence across the semantic representation space, we argue that examples with different confidence levels should play distinct roles during the instruction-tuning process. Based on this insight, SFTMix leverages training dynamics to identify examples with varying confidence levels, then applies a Mixup-based regularization to mitigate overfitting on confident examples while propagating supervision signals to improve learning on relatively unconfident ones. This approach enables SFTMix to significantly outperform NTP across a wide range of instruction-following and healthcare domain-specific SFT tasks, demonstrating its adaptability to diverse LLM families and scalability to datasets of any size. Comprehensive ablation studies further verify the robustness of SFTMix's design choices, underscoring its versatility in consistently enhancing performance across different LLMs and datasets in broader natural language processing applications.