CodecLM: Alineación de Modelos de Lenguaje con Datos Sintéticos Personalizados

CodecLM: Aligning Language Models with Tailored Synthetic Data

April 8, 2024

Autores: Zifeng Wang, Chun-Liang Li, Vincent Perot, Long T. Le, Jin Miao, Zizhao Zhang, Chen-Yu Lee, Tomas Pfister

cs.AI

Resumen

El ajuste por instrucciones ha surgido como clave para alinear los modelos de lenguaje grandes (LLMs, por sus siglas en inglés) con instrucciones específicas de tareas, mitigando así la discrepancia entre el objetivo de predicción del siguiente token y los objetivos reales de los usuarios. Para reducir el costo de tiempo y esfuerzo en la recopilación o anotación de datos por parte de humanos, los investigadores han comenzado a explorar el uso de LLMs para generar datos sintéticos alineados con instrucciones. Trabajos recientes se centran en generar instrucciones diversas y aplicar LLMs para aumentar la complejidad de las instrucciones, a menudo descuidando los casos de uso posteriores. Aún no está claro cómo adaptar datos de alta calidad para fomentar mejores habilidades de seguimiento de instrucciones en diferentes distribuciones de instrucciones objetivo y LLMs. Con este fin, presentamos CodecLM, un marco general para generar de manera adaptativa datos sintéticos de alta calidad para alinear LLMs con diferentes distribuciones de instrucciones posteriores y LLMs. Basándonos en los principios de Codificación-Decodificación, utilizamos LLMs como códecs para guiar el proceso de generación de datos. Primero codificamos instrucciones iniciales en metadatos, que son palabras clave concisas generadas sobre la marcha para capturar la distribución de instrucciones objetivo, y luego decodificamos los metadatos para crear instrucciones personalizadas. También introducimos Autoevaluaciones y Filtrado Contrastante durante la decodificación para adaptar muestras eficientes en datos. Experimentos extensos en cuatro benchmarks de seguimiento de instrucciones de dominio abierto validan la efectividad de CodecLM sobre los métodos más avanzados actuales.

English

Instruction tuning has emerged as the key in aligning large language models (LLMs) with specific task instructions, thereby mitigating the discrepancy between the next-token prediction objective and users' actual goals. To reduce the labor and time cost to collect or annotate data by humans, researchers start to explore the use of LLMs to generate instruction-aligned synthetic data. Recent works focus on generating diverse instructions and applying LLM to increase instruction complexity, often neglecting downstream use cases. It remains unclear how to tailor high-quality data to elicit better instruction-following abilities in different target instruction distributions and LLMs. To this end, we introduce CodecLM, a general framework for adaptively generating high-quality synthetic data for LLM alignment with different downstream instruction distributions and LLMs. Drawing on the Encode-Decode principles, we use LLMs as codecs to guide the data generation process. We first encode seed instructions into metadata, which are concise keywords generated on-the-fly to capture the target instruction distribution, and then decode metadata to create tailored instructions. We also introduce Self-Rubrics and Contrastive Filtering during decoding to tailor data-efficient samples. Extensive experiments on four open-domain instruction following benchmarks validate the effectiveness of CodecLM over the current state-of-the-arts.