CodecLM : Alignement des modèles de langage grâce à des données synthétiques sur mesure

CodecLM: Aligning Language Models with Tailored Synthetic Data

April 8, 2024

Auteurs: Zifeng Wang, Chun-Liang Li, Vincent Perot, Long T. Le, Jin Miao, Zizhao Zhang, Chen-Yu Lee, Tomas Pfister

cs.AI

Résumé

Le réglage par instructions est devenu un élément clé pour aligner les grands modèles de langage (LLMs) avec des instructions de tâches spécifiques, atténuant ainsi l'écart entre l'objectif de prédiction du prochain jeton et les objectifs réels des utilisateurs. Pour réduire les coûts en main-d'œuvre et en temps liés à la collecte ou à l'annotation de données par des humains, les chercheurs ont commencé à explorer l'utilisation des LLMs pour générer des données synthétiques alignées sur les instructions. Les travaux récents se concentrent sur la génération d'instructions diversifiées et sur l'application des LLMs pour augmenter la complexité des instructions, souvent en négligeant les cas d'utilisation en aval. Il reste incertain comment adapter des données de haute qualité pour susciter de meilleures capacités de suivi d'instructions dans différentes distributions d'instructions cibles et LLMs. À cette fin, nous introduisons CodecLM, un cadre général pour générer de manière adaptative des données synthétiques de haute qualité pour l'alignement des LLMs avec différentes distributions d'instructions en aval et LLMs. En nous appuyant sur les principes Encode-Decode, nous utilisons les LLMs comme codecs pour guider le processus de génération de données. Nous encodons d'abord les instructions de départ en métadonnées, qui sont des mots-clés concis générés à la volée pour capturer la distribution d'instructions cible, puis nous décodons les métadonnées pour créer des instructions adaptées. Nous introduisons également Self-Rubrics et le filtrage contrastif lors du décodage pour adapter des échantillons de données efficaces. Des expériences approfondies sur quatre benchmarks de suivi d'instructions en domaine ouvert valident l'efficacité de CodecLM par rapport aux méthodes actuelles de pointe.

English

Instruction tuning has emerged as the key in aligning large language models (LLMs) with specific task instructions, thereby mitigating the discrepancy between the next-token prediction objective and users' actual goals. To reduce the labor and time cost to collect or annotate data by humans, researchers start to explore the use of LLMs to generate instruction-aligned synthetic data. Recent works focus on generating diverse instructions and applying LLM to increase instruction complexity, often neglecting downstream use cases. It remains unclear how to tailor high-quality data to elicit better instruction-following abilities in different target instruction distributions and LLMs. To this end, we introduce CodecLM, a general framework for adaptively generating high-quality synthetic data for LLM alignment with different downstream instruction distributions and LLMs. Drawing on the Encode-Decode principles, we use LLMs as codecs to guide the data generation process. We first encode seed instructions into metadata, which are concise keywords generated on-the-fly to capture the target instruction distribution, and then decode metadata to create tailored instructions. We also introduce Self-Rubrics and Contrastive Filtering during decoding to tailor data-efficient samples. Extensive experiments on four open-domain instruction following benchmarks validate the effectiveness of CodecLM over the current state-of-the-arts.