SemiEvol: Adattamento con sintonizzazione fine semi-supervisionata per LLM

SemiEvol: Semi-supervised Fine-tuning for LLM Adaptation

October 17, 2024

Autori: Junyu Luo, Xiao Luo, Xiusi Chen, Zhiping Xiao, Wei Ju, Ming Zhang

cs.AI

Abstract

Il fine-tuning supervisionato (SFT) è cruciale nell'adattamento dei grandi modelli linguistici (LLM) a un dominio o compito specifico. Tuttavia, solo una quantità limitata di dati etichettati è disponibile nelle applicazioni pratiche, il che rappresenta una sfida significativa per il SFT nel produrre risultati soddisfacenti. Pertanto, un framework efficiente nei dati che possa sfruttare appieno i dati etichettati e non etichettati per il fine-tuning del LLM è molto atteso. A questo scopo, presentiamo un framework di fine-tuning semi-supervisionato chiamato SemiEvol per l'adattamento del LLM da un approccio di propagazione e selezione. Per la propagazione della conoscenza, SemiEvol adotta un approccio bi-level, propagando la conoscenza dai dati etichettati a quelli non etichettati attraverso metodi sia in-peso che in-contesto. Per la selezione della conoscenza, SemiEvol incorpora un meccanismo di apprendimento collaborativo, selezionando campioni di pseudo-risposta di maggiore qualità. Abbiamo condotto esperimenti utilizzando GPT-4o-mini e Llama-3.1 su sette dataset generali o specifici del dominio, dimostrando miglioramenti significativi nelle prestazioni del modello sui dati target. Inoltre, abbiamo confrontato SemiEvol con SFT e metodi di auto-evoluzione, evidenziandone la praticità in scenari di dati ibridi.

English

Supervised fine-tuning (SFT) is crucial in adapting large language models (LLMs) to a specific domain or task. However, only a limited amount of labeled data is available in practical applications, which poses a severe challenge for SFT in yielding satisfactory results. Therefore, a data-efficient framework that can fully exploit labeled and unlabeled data for LLM fine-tuning is highly anticipated. Towards this end, we introduce a semi-supervised fine-tuning framework named SemiEvol for LLM adaptation from a propagate-and-select manner. For knowledge propagation, SemiEvol adopts a bi-level approach, propagating knowledge from labeled data to unlabeled data through both in-weight and in-context methods. For knowledge selection, SemiEvol incorporates a collaborative learning mechanism, selecting higher-quality pseudo-response samples. We conducted experiments using GPT-4o-mini and Llama-3.1 on seven general or domain-specific datasets, demonstrating significant improvements in model performance on target data. Furthermore, we compared SemiEvol with SFT and self-evolution methods, highlighting its practicality in hybrid data scenarios.