CodecLM: Выравнивание языковых моделей с настроенными синтетическими данными

CodecLM: Aligning Language Models with Tailored Synthetic Data

April 8, 2024

Авторы: Zifeng Wang, Chun-Liang Li, Vincent Perot, Long T. Le, Jin Miao, Zizhao Zhang, Chen-Yu Lee, Tomas Pfister

cs.AI

Аннотация

Настройка инструкций стала ключевым моментом в выравнивании больших языковых моделей (LLM) с конкретными задачами, тем самым смягчая разрыв между целью прогнозирования следующего токена и фактическими целями пользователей. Для сокращения трудозатрат и временных затрат на сбор или аннотацию данных людьми исследователи начинают исследовать использование LLM для генерации синтетических данных, выровненных по инструкциям. Недавние работы сосредотачиваются на генерации разнообразных инструкций и применении LLM для увеличения сложности инструкций, часто пренебрегая последующими случаями использования. Остается неясным, как настроить качественные данные для вызова лучших навыков следования инструкциям в различных целевых распределениях инструкций и LLM. Для этой цели мы представляем CodecLM, общую структуру для адаптивной генерации высококачественных синтетических данных для выравнивания LLM с различными последующими распределениями инструкций и LLM. Основываясь на принципах кодирования-декодирования, мы используем LLM в качестве кодеков для направления процесса генерации данных. Сначала мы кодируем исходные инструкции в метаданные, которые являются краткими ключевыми словами, генерируемыми на лету для захвата целевого распределения инструкций, а затем декодируем метаданные для создания настроенных инструкций. Мы также вводим самооценочные рубрики и контрастное фильтрование во время декодирования для настройки эффективных образцов данных. Обширные эксперименты на четырех бенчмарках следования инструкциям в открытой области подтверждают эффективность CodecLM по сравнению с текущими передовыми технологиями.

English

Instruction tuning has emerged as the key in aligning large language models (LLMs) with specific task instructions, thereby mitigating the discrepancy between the next-token prediction objective and users' actual goals. To reduce the labor and time cost to collect or annotate data by humans, researchers start to explore the use of LLMs to generate instruction-aligned synthetic data. Recent works focus on generating diverse instructions and applying LLM to increase instruction complexity, often neglecting downstream use cases. It remains unclear how to tailor high-quality data to elicit better instruction-following abilities in different target instruction distributions and LLMs. To this end, we introduce CodecLM, a general framework for adaptively generating high-quality synthetic data for LLM alignment with different downstream instruction distributions and LLMs. Drawing on the Encode-Decode principles, we use LLMs as codecs to guide the data generation process. We first encode seed instructions into metadata, which are concise keywords generated on-the-fly to capture the target instruction distribution, and then decode metadata to create tailored instructions. We also introduce Self-Rubrics and Contrastive Filtering during decoding to tailor data-efficient samples. Extensive experiments on four open-domain instruction following benchmarks validate the effectiveness of CodecLM over the current state-of-the-arts.