CodecLM: Ausrichtung von Sprachmodellen mit maßgeschneiderten synthetischen Daten

CodecLM: Aligning Language Models with Tailored Synthetic Data

April 8, 2024

Autoren: Zifeng Wang, Chun-Liang Li, Vincent Perot, Long T. Le, Jin Miao, Zizhao Zhang, Chen-Yu Lee, Tomas Pfister

cs.AI

Zusammenfassung

Die Anpassung von Anweisungen hat sich als Schlüsselfaktor herausgestellt, um große Sprachmodelle (LLMs) mit spezifischen Aufgabenanweisungen in Einklang zu bringen und somit die Diskrepanz zwischen dem Ziel der Vorhersage des nächsten Tokens und den tatsächlichen Zielen der Benutzer zu mildern. Um den Arbeits- und Zeitaufwand für die Sammlung oder Annotation von Daten durch Menschen zu reduzieren, beginnen Forscher damit, LLMs zur Generierung von anweisungsgerechten synthetischen Daten zu erforschen. Aktuelle Arbeiten konzentrieren sich darauf, vielfältige Anweisungen zu generieren und LLMs zur Steigerung der Anweisungskomplexität anzuwenden, wobei oft die nachgelagerten Anwendungsfälle vernachlässigt werden. Es bleibt unklar, wie hochwertige Daten angepasst werden können, um bessere Anweisungsfolgefähigkeiten in verschiedenen Zielanweisungsverteilungen und LLMs hervorzurufen. Zu diesem Zweck stellen wir CodecLM vor, ein allgemeines Framework zur adaptiven Generierung hochwertiger synthetischer Daten zur Ausrichtung von LLMs mit verschiedenen nachgelagerten Anweisungsverteilungen und LLMs. Unter Verwendung der Prinzipien des Kodierens und Decodierens verwenden wir LLMs als Codecs, um den Datengenerierungsprozess zu steuern. Wir kodieren zunächst Ausgangsanweisungen in Metadaten, die prägnante Stichwörter sind, die spontan generiert werden, um die Zielanweisungsverteilung zu erfassen, und decodieren dann die Metadaten, um maßgeschneiderte Anweisungen zu erstellen. Wir führen auch Selbst-Rubriken und kontrastive Filterung während des Decodierens ein, um dateneffiziente Stichproben anzupassen. Umfangreiche Experimente an vier Open-Domain-Anweisungsfolge-Benchmarks bestätigen die Wirksamkeit von CodecLM im Vergleich zum aktuellen Stand der Technik.

English

Instruction tuning has emerged as the key in aligning large language models (LLMs) with specific task instructions, thereby mitigating the discrepancy between the next-token prediction objective and users' actual goals. To reduce the labor and time cost to collect or annotate data by humans, researchers start to explore the use of LLMs to generate instruction-aligned synthetic data. Recent works focus on generating diverse instructions and applying LLM to increase instruction complexity, often neglecting downstream use cases. It remains unclear how to tailor high-quality data to elicit better instruction-following abilities in different target instruction distributions and LLMs. To this end, we introduce CodecLM, a general framework for adaptively generating high-quality synthetic data for LLM alignment with different downstream instruction distributions and LLMs. Drawing on the Encode-Decode principles, we use LLMs as codecs to guide the data generation process. We first encode seed instructions into metadata, which are concise keywords generated on-the-fly to capture the target instruction distribution, and then decode metadata to create tailored instructions. We also introduce Self-Rubrics and Contrastive Filtering during decoding to tailor data-efficient samples. Extensive experiments on four open-domain instruction following benchmarks validate the effectiveness of CodecLM over the current state-of-the-arts.