SemiEvol: Ajuste Fino Semi-supervisionado para Adaptação de LLM

SemiEvol: Semi-supervised Fine-tuning for LLM Adaptation

October 17, 2024

Autores: Junyu Luo, Xiao Luo, Xiusi Chen, Zhiping Xiao, Wei Ju, Ming Zhang

cs.AI

Resumo

A adaptação supervisionada fina (ASF) é crucial na adaptação de grandes modelos de linguagem (MLs) a um domínio ou tarefa específica. No entanto, apenas uma quantidade limitada de dados rotulados está disponível em aplicações práticas, o que representa um desafio significativo para a ASF em produzir resultados satisfatórios. Portanto, um arcabouço eficiente em dados que possa explorar totalmente dados rotulados e não rotulados para o ajuste fino de MLs é altamente esperado. Com esse objetivo, apresentamos um arcabouço de ajuste fino semi-supervisionado chamado SemiEvol para adaptação de MLs a partir de um método de propagação e seleção. Para a propagação de conhecimento, o SemiEvol adota uma abordagem em dois níveis, propagando conhecimento dos dados rotulados para os não rotulados por meio de métodos de peso interno e de contexto interno. Para a seleção de conhecimento, o SemiEvol incorpora um mecanismo de aprendizado colaborativo, selecionando amostras de pseudo-resposta de maior qualidade. Realizamos experimentos utilizando GPT-4o-mini e Llama-3.1 em sete conjuntos de dados gerais ou específicos de domínio, demonstrando melhorias significativas no desempenho do modelo nos dados-alvo. Além disso, comparamos o SemiEvol com métodos ASF e de autoevolução, destacando sua praticidade em cenários de dados híbridos.

English

Supervised fine-tuning (SFT) is crucial in adapting large language models (LLMs) to a specific domain or task. However, only a limited amount of labeled data is available in practical applications, which poses a severe challenge for SFT in yielding satisfactory results. Therefore, a data-efficient framework that can fully exploit labeled and unlabeled data for LLM fine-tuning is highly anticipated. Towards this end, we introduce a semi-supervised fine-tuning framework named SemiEvol for LLM adaptation from a propagate-and-select manner. For knowledge propagation, SemiEvol adopts a bi-level approach, propagating knowledge from labeled data to unlabeled data through both in-weight and in-context methods. For knowledge selection, SemiEvol incorporates a collaborative learning mechanism, selecting higher-quality pseudo-response samples. We conducted experiments using GPT-4o-mini and Llama-3.1 on seven general or domain-specific datasets, demonstrating significant improvements in model performance on target data. Furthermore, we compared SemiEvol with SFT and self-evolution methods, highlighting its practicality in hybrid data scenarios.