SemiEvol: Полу-надзорная настройка Fei-tuning для адаптации LLM

SemiEvol: Semi-supervised Fine-tuning for LLM Adaptation

October 17, 2024

Авторы: Junyu Luo, Xiao Luo, Xiusi Chen, Zhiping Xiao, Wei Ju, Ming Zhang

cs.AI

Аннотация

Надзорное донастройка (SFT) является ключевым в адаптации крупных языковых моделей (LLM) к конкретной области или задаче. Однако в практических приложениях доступно лишь ограниченное количество размеченных данных, что представляет серьезное испытание для SFT в достижении удовлетворительных результатов. Поэтому очень важно наличие эффективной структуры, которая может полностью использовать размеченные и неразмеченные данные для донастройки LLM. В этом контексте мы представляем полу-надзорную структуру донастройки под названием SemiEvol для адаптации LLM в режиме распространения и выбора. Для распространения знаний SemiEvol применяет двухуровневый подход, распространяя знания от размеченных данных к неразмеченным данным через методы весов и контекста. Для выбора знаний SemiEvol включает механизм коллаборативного обучения, выбирая образцы псевдо-ответов более высокого качества. Мы провели эксперименты, используя GPT-4o-mini и Llama-3.1 на семи общих или областно-специфических наборах данных, продемонстрировав значительное улучшение производительности модели на целевых данных. Кроме того, мы сравнили SemiEvol с SFT и методами самоэволюции, подчеркивая его практичность в гибридных сценариях данных.

English

Supervised fine-tuning (SFT) is crucial in adapting large language models (LLMs) to a specific domain or task. However, only a limited amount of labeled data is available in practical applications, which poses a severe challenge for SFT in yielding satisfactory results. Therefore, a data-efficient framework that can fully exploit labeled and unlabeled data for LLM fine-tuning is highly anticipated. Towards this end, we introduce a semi-supervised fine-tuning framework named SemiEvol for LLM adaptation from a propagate-and-select manner. For knowledge propagation, SemiEvol adopts a bi-level approach, propagating knowledge from labeled data to unlabeled data through both in-weight and in-context methods. For knowledge selection, SemiEvol incorporates a collaborative learning mechanism, selecting higher-quality pseudo-response samples. We conducted experiments using GPT-4o-mini and Llama-3.1 on seven general or domain-specific datasets, demonstrating significant improvements in model performance on target data. Furthermore, we compared SemiEvol with SFT and self-evolution methods, highlighting its practicality in hybrid data scenarios.