CodecLM: Taalmodellen afstemmen met op maat gemaakte synthetische data

Samenvatting

Instruction tuning is naar voren gekomen als de sleutel om grote taalmodellen (LLMs) af te stemmen op specifieke taakinstructies, waardoor de discrepantie tussen het voorspellen van het volgende token en de daadwerkelijke doelen van gebruikers wordt verminderd. Om de arbeids- en tijdskosten voor het verzamelen of annoteren van gegevens door mensen te verminderen, beginnen onderzoekers het gebruik van LLMs te verkennen om synthetische gegevens te genereren die zijn afgestemd op instructies. Recente werken richten zich op het genereren van diverse instructies en het toepassen van LLM om de complexiteit van instructies te vergroten, waarbij downstream gebruiksscenario's vaak worden verwaarloosd. Het blijft onduidelijk hoe hoogwaardige gegevens kunnen worden afgestemd om betere instructievolgbare vaardigheden te stimuleren in verschillende doel-instructieverdelingen en LLMs. Daarom introduceren we CodecLM, een algemeen raamwerk voor het adaptief genereren van hoogwaardige synthetische gegevens voor de afstemming van LLMs met verschillende downstream instructieverdelingen en LLMs. Gebaseerd op de Encode-Decode principes, gebruiken we LLMs als codecs om het gegevensgeneratieproces te begeleiden. We coderen eerst zaadinstructies in metadata, wat beknopte trefwoorden zijn die on-the-fly worden gegenereerd om de doel-instructieverdeling vast te leggen, en decoderen vervolgens metadata om op maat gemaakte instructies te creëren. We introduceren ook Self-Rubrics en Contrastive Filtering tijdens het decoderen om gegevensefficiënte voorbeelden op maat te maken. Uitgebreide experimenten op vier open-domein instructievolgbare benchmarks valideren de effectiviteit van CodecLM ten opzichte van de huidige state-of-the-art methoden.

English

Instruction tuning has emerged as the key in aligning large language models (LLMs) with specific task instructions, thereby mitigating the discrepancy between the next-token prediction objective and users' actual goals. To reduce the labor and time cost to collect or annotate data by humans, researchers start to explore the use of LLMs to generate instruction-aligned synthetic data. Recent works focus on generating diverse instructions and applying LLM to increase instruction complexity, often neglecting downstream use cases. It remains unclear how to tailor high-quality data to elicit better instruction-following abilities in different target instruction distributions and LLMs. To this end, we introduce CodecLM, a general framework for adaptively generating high-quality synthetic data for LLM alignment with different downstream instruction distributions and LLMs. Drawing on the Encode-Decode principles, we use LLMs as codecs to guide the data generation process. We first encode seed instructions into metadata, which are concise keywords generated on-the-fly to capture the target instruction distribution, and then decode metadata to create tailored instructions. We also introduce Self-Rubrics and Contrastive Filtering during decoding to tailor data-efficient samples. Extensive experiments on four open-domain instruction following benchmarks validate the effectiveness of CodecLM over the current state-of-the-arts.

CodecLM: Taalmodellen afstemmen met op maat gemaakte synthetische data

CodecLM: Aligning Language Models with Tailored Synthetic Data

Samenvatting

Support