RobustFT: Robuust Toezicht Fine-tuning voor Grote Taalmodellen onder Lawaaierige Respons

RobustFT: Robust Supervised Fine-tuning for Large Language Models under Noisy Response

December 19, 2024

Auteurs: Junyu Luo, Xiao Luo, Kaize Ding, Jingyang Yuan, Zhiping Xiao, Ming Zhang

cs.AI

Samenvatting

Onder begeleid fijnafstemmen (SFT) speelt een cruciale rol bij het aanpassen van grote taalmodellen (LLM's) aan specifieke domeinen of taken. Echter, zoals aangetoond door empirische experimenten, bevat de verzamelde data onvermijdelijk ruis in praktische toepassingen, wat aanzienlijke uitdagingen met zich meebrengt voor de prestaties van het model bij downstream taken. Daarom is er een dringende behoefte aan een ruisbestendig SFT-framework om de mogelijkheden van het model bij downstream taken te verbeteren. Om deze uitdaging aan te gaan, introduceren we een robuust SFT-framework (RobustFT) dat ruisdetectie en herlabeling uitvoert op gegevens van downstream taken. Voor ruisidentificatie maakt onze aanpak gebruik van een multi-expert samenwerkingssysteem met inferentie-versterkte modellen om superieure ruisdetectie te bereiken. In de denoising-fase gebruiken we een context-versterkte strategie, die de meest relevante en zelfverzekerde kennis incorporeert gevolgd door zorgvuldige beoordeling om betrouwbare annotaties te genereren. Daarnaast introduceren we een effectief gegevensselectiemechanisme op basis van responsentropie, waarbij alleen hoogwaardige monsters behouden blijven voor fijnafstemming. Uitgebreide experimenten uitgevoerd op meerdere LLM's over vijf datasets tonen de uitzonderlijke prestaties van RobustFT in lawaaiige scenario's aan.

English

Supervised fine-tuning (SFT) plays a crucial role in adapting large language models (LLMs) to specific domains or tasks. However, as demonstrated by empirical experiments, the collected data inevitably contains noise in practical applications, which poses significant challenges to model performance on downstream tasks. Therefore, there is an urgent need for a noise-robust SFT framework to enhance model capabilities in downstream tasks. To address this challenge, we introduce a robust SFT framework (RobustFT) that performs noise detection and relabeling on downstream task data. For noise identification, our approach employs a multi-expert collaborative system with inference-enhanced models to achieve superior noise detection. In the denoising phase, we utilize a context-enhanced strategy, which incorporates the most relevant and confident knowledge followed by careful assessment to generate reliable annotations. Additionally, we introduce an effective data selection mechanism based on response entropy, ensuring only high-quality samples are retained for fine-tuning. Extensive experiments conducted on multiple LLMs across five datasets demonstrate RobustFT's exceptional performance in noisy scenarios.