CodecLM: Allineamento di Modelli Linguistici con Dati Sintetici Personalizzati

CodecLM: Aligning Language Models with Tailored Synthetic Data

April 8, 2024

Autori: Zifeng Wang, Chun-Liang Li, Vincent Perot, Long T. Le, Jin Miao, Zizhao Zhang, Chen-Yu Lee, Tomas Pfister

cs.AI

Abstract

L'instruction tuning è emerso come elemento chiave per allineare i grandi modelli linguistici (LLM) con istruzioni specifiche per i task, mitigando così la discrepanza tra l'obiettivo di previsione del token successivo e gli obiettivi effettivi degli utenti. Per ridurre il costo in termini di tempo e lavoro necessario per raccogliere o annotare dati manualmente, i ricercatori hanno iniziato a esplorare l'uso degli LLM per generare dati sintetici allineati alle istruzioni. I lavori recenti si concentrano sulla generazione di istruzioni diversificate e sull'applicazione degli LLM per aumentare la complessità delle istruzioni, spesso trascurando i casi d'uso downstream. Rimane poco chiaro come adattare dati di alta qualità per stimolare migliori capacità di seguire le istruzioni in diverse distribuzioni di istruzioni target e LLM. A tal fine, introduciamo CodecLM, un framework generale per generare in modo adattivo dati sintetici di alta qualità per l'allineamento degli LLM con diverse distribuzioni di istruzioni downstream e LLM. Ispirandoci ai principi Encode-Decode, utilizziamo gli LLM come codec per guidare il processo di generazione dei dati. Prima codifichiamo le istruzioni di partenza in metadati, ovvero parole chiave concise generate al volo per catturare la distribuzione delle istruzioni target, e poi decodifichiamo i metadati per creare istruzioni personalizzate. Introduciamo anche Self-Rubrics e Contrastive Filtering durante la decodifica per adattare campioni di dati efficienti. Esperimenti estesi su quattro benchmark open-domain per il seguire le istruzioni convalidano l'efficacia di CodecLM rispetto agli approcci state-of-the-art attuali.

English

Instruction tuning has emerged as the key in aligning large language models (LLMs) with specific task instructions, thereby mitigating the discrepancy between the next-token prediction objective and users' actual goals. To reduce the labor and time cost to collect or annotate data by humans, researchers start to explore the use of LLMs to generate instruction-aligned synthetic data. Recent works focus on generating diverse instructions and applying LLM to increase instruction complexity, often neglecting downstream use cases. It remains unclear how to tailor high-quality data to elicit better instruction-following abilities in different target instruction distributions and LLMs. To this end, we introduce CodecLM, a general framework for adaptively generating high-quality synthetic data for LLM alignment with different downstream instruction distributions and LLMs. Drawing on the Encode-Decode principles, we use LLMs as codecs to guide the data generation process. We first encode seed instructions into metadata, which are concise keywords generated on-the-fly to capture the target instruction distribution, and then decode metadata to create tailored instructions. We also introduce Self-Rubrics and Contrastive Filtering during decoding to tailor data-efficient samples. Extensive experiments on four open-domain instruction following benchmarks validate the effectiveness of CodecLM over the current state-of-the-arts.