Более точное выравнивание с обратным переводом инструкций.

Better Alignment with Instruction Back-and-Forth Translation

August 8, 2024

Авторы: Thao Nguyen, Jeffrey Li, Sewoong Oh, Ludwig Schmidt, Jason Weston, Luke Zettlemoyer, Xian Li

cs.AI

Аннотация

Мы предлагаем новый метод - обратный перевод инструкций, для создания высококачественных синтетических данных, основанных на мировых знаниях, для выравнивания больших языковых моделей (БЯМ). Используя документы из веб-корпуса, мы генерируем и курируем синтетические инструкции с помощью подхода обратного перевода, предложенного Ли и др. (2023а), и переписываем ответы для дальнейшего улучшения их качества на основе исходных документов. Тонкая настройка с использованием полученных пар (обратно переведенная инструкция, переписанный ответ) дает более высокие показатели успешности на AlpacaEval, чем использование других распространенных наборов данных для инструкций, таких как Humpback, ShareGPT, Open Orca, Alpaca-GPT4 и Self-instruct. Мы также демонстрируем, что переписывание ответов с помощью БЯМ превосходит прямую дистилляцию, и две сгенерированные текстовые распределения имеют значительные различия в пространстве вложений. Дополнительный анализ показывает, что наши обратно переведенные инструкции имеют более высокое качество, чем другие источники синтетических инструкций, в то время как наши ответы более разнообразны и сложны, чем те, полученные из дистилляции. В целом мы приходим к выводу, что обратный перевод инструкций объединяет лучшее из двух миров - используя разнообразие и количество информации, найденной в сети, обеспечивая при этом качество ответов, необходимое для эффективного выравнивания.

English

We propose a new method, instruction back-and-forth translation, to construct high-quality synthetic data grounded in world knowledge for aligning large language models (LLMs). Given documents from a web corpus, we generate and curate synthetic instructions using the backtranslation approach proposed by Li et al.(2023a), and rewrite the responses to improve their quality further based on the initial documents. Fine-tuning with the resulting (backtranslated instruction, rewritten response) pairs yields higher win rates on AlpacaEval than using other common instruction datasets such as Humpback, ShareGPT, Open Orca, Alpaca-GPT4 and Self-instruct. We also demonstrate that rewriting the responses with an LLM outperforms direct distillation, and the two generated text distributions exhibit significant distinction in embedding space. Further analysis shows that our backtranslated instructions are of higher quality than other sources of synthetic instructions, while our responses are more diverse and complex than those obtained from distillation. Overall we find that instruction back-and-forth translation combines the best of both worlds -- making use of the information diversity and quantity found on the web, while ensuring the quality of the responses which is necessary for effective alignment.