RobustFT: Robustes überwachtes Feintuning für große Sprachmodelle unter Störungen in den Antworten

RobustFT: Robust Supervised Fine-tuning for Large Language Models under Noisy Response

December 19, 2024

Autoren: Junyu Luo, Xiao Luo, Kaize Ding, Jingyang Yuan, Zhiping Xiao, Ming Zhang

cs.AI

Zusammenfassung

Das überwachte Feintuning (SFT) spielt eine entscheidende Rolle bei der Anpassung großer Sprachmodelle (LLMs) an spezifische Domänen oder Aufgaben. Wie jedoch durch empirische Experimente gezeigt wurde, enthält die gesammelte Datenmenge in praktischen Anwendungen unweigerlich Rauschen, was erhebliche Herausforderungen für die Leistung des Modells bei nachgelagerten Aufgaben darstellt. Daher besteht ein dringender Bedarf an einem rauschrobusten SFT-Framework, um die Fähigkeiten des Modells bei nachgelagerten Aufgaben zu verbessern. Um diese Herausforderung anzugehen, führen wir ein robustes SFT-Framework (RobustFT) ein, das Rauschdetektion und Neukennzeichnung an den Daten nachgelagerter Aufgaben durchführt. Für die Rauscherkennung verwendet unser Ansatz ein Multi-Experten-Kollaborationssystem mit inferenzgestützten Modellen, um eine überlegene Rauscherkennung zu erreichen. In der Entstörungsphase nutzen wir eine kontextgestützte Strategie, die das relevanteste und zuversichtlichste Wissen einbezieht, gefolgt von einer sorgfältigen Bewertung zur Generierung zuverlässiger Kennzeichnungen. Darüber hinaus führen wir einen effektiven Datenauswahlmechanismus basierend auf der Reaktionsentropie ein, um sicherzustellen, dass nur hochwertige Proben für das Feintuning beibehalten werden. Umfangreiche Experimente, die an mehreren LLMs über fünf Datensätze durchgeführt wurden, zeigen die außergewöhnliche Leistung von RobustFT in rauschigen Szenarien.

English

Supervised fine-tuning (SFT) plays a crucial role in adapting large language models (LLMs) to specific domains or tasks. However, as demonstrated by empirical experiments, the collected data inevitably contains noise in practical applications, which poses significant challenges to model performance on downstream tasks. Therefore, there is an urgent need for a noise-robust SFT framework to enhance model capabilities in downstream tasks. To address this challenge, we introduce a robust SFT framework (RobustFT) that performs noise detection and relabeling on downstream task data. For noise identification, our approach employs a multi-expert collaborative system with inference-enhanced models to achieve superior noise detection. In the denoising phase, we utilize a context-enhanced strategy, which incorporates the most relevant and confident knowledge followed by careful assessment to generate reliable annotations. Additionally, we introduce an effective data selection mechanism based on response entropy, ensuring only high-quality samples are retained for fine-tuning. Extensive experiments conducted on multiple LLMs across five datasets demonstrate RobustFT's exceptional performance in noisy scenarios.