SemiEvol: Ajuste fino semi-supervisado para la adaptación de LLM

SemiEvol: Semi-supervised Fine-tuning for LLM Adaptation

October 17, 2024

Autores: Junyu Luo, Xiao Luo, Xiusi Chen, Zhiping Xiao, Wei Ju, Ming Zhang

cs.AI

Resumen

El ajuste fino supervisado (SFT) es crucial para adaptar modelos de lenguaje grandes (LLMs) a un dominio o tarea específica. Sin embargo, en aplicaciones prácticas solo se dispone de una cantidad limitada de datos etiquetados, lo que plantea un desafío severo para el SFT en la obtención de resultados satisfactorios. Por lo tanto, se espera con gran interés un marco de trabajo eficiente en datos que pueda aprovechar completamente los datos etiquetados y no etiquetados para el ajuste fino de LLM. Con este fin, presentamos un marco de trabajo de ajuste fino semi-supervisado llamado SemiEvol para la adaptación de LLM desde un enfoque de propagación y selección. Para la propagación de conocimiento, SemiEvol adopta un enfoque de dos niveles, propagando conocimiento desde datos etiquetados a datos no etiquetados a través de métodos tanto de peso interno como de contexto interno. Para la selección de conocimiento, SemiEvol incorpora un mecanismo de aprendizaje colaborativo, seleccionando muestras de pseudo-respuestas de mayor calidad. Realizamos experimentos utilizando GPT-4o-mini y Llama-3.1 en siete conjuntos de datos generales o específicos de dominio, demostrando mejoras significativas en el rendimiento del modelo en los datos objetivo. Además, comparamos SemiEvol con SFT y métodos de auto-evolución, resaltando su practicidad en escenarios de datos híbridos.

English

Supervised fine-tuning (SFT) is crucial in adapting large language models (LLMs) to a specific domain or task. However, only a limited amount of labeled data is available in practical applications, which poses a severe challenge for SFT in yielding satisfactory results. Therefore, a data-efficient framework that can fully exploit labeled and unlabeled data for LLM fine-tuning is highly anticipated. Towards this end, we introduce a semi-supervised fine-tuning framework named SemiEvol for LLM adaptation from a propagate-and-select manner. For knowledge propagation, SemiEvol adopts a bi-level approach, propagating knowledge from labeled data to unlabeled data through both in-weight and in-context methods. For knowledge selection, SemiEvol incorporates a collaborative learning mechanism, selecting higher-quality pseudo-response samples. We conducted experiments using GPT-4o-mini and Llama-3.1 on seven general or domain-specific datasets, demonstrating significant improvements in model performance on target data. Furthermore, we compared SemiEvol with SFT and self-evolution methods, highlighting its practicality in hybrid data scenarios.