命令の双方向翻訳によるより良いアラインメント

Better Alignment with Instruction Back-and-Forth Translation

August 8, 2024

著者: Thao Nguyen, Jeffrey Li, Sewoong Oh, Ludwig Schmidt, Jason Weston, Luke Zettlemoyer, Xian Li

cs.AI

要旨

我々は、大規模言語モデル（LLM）のアラインメントに向けた世界知識に基づく高品質な合成データを構築するための新たな手法、インストラクション・バックアンドフォース翻訳を提案する。ウェブコーパスから得たドキュメントを基に、Li et al.(2023a)が提案したバックトランスレーションアプローチを用いて合成インストラクションを生成・キュレーションし、初期ドキュメントに基づいて応答をリライトすることでその品質をさらに向上させる。得られた（バックトランスレーションされたインストラクション、リライトされた応答）ペアを用いたファインチューニングは、Humpback、ShareGPT、Open Orca、Alpaca-GPT4、Self-instructなどの他の一般的なインストラクションデータセットを使用する場合よりも、AlpacaEvalにおいて高い勝率を示す。また、LLMを用いて応答をリライトすることが直接蒸留を上回る性能を発揮し、生成された2つのテキスト分布は埋め込み空間において顕著な差異を示すことを実証する。さらなる分析により、我々のバックトランスレーションされたインストラクションは他の合成インストラクション源よりも高品質であり、我々の応答は蒸留から得られたものよりも多様性と複雑性に富んでいることが明らかになった。全体として、インストラクション・バックアンドフォース翻訳は両方の利点を組み合わせていることがわかる——ウェブ上に見られる情報の多様性と量を活用しつつ、効果的なアラインメントに必要な応答の品質を確保している。

English

We propose a new method, instruction back-and-forth translation, to construct high-quality synthetic data grounded in world knowledge for aligning large language models (LLMs). Given documents from a web corpus, we generate and curate synthetic instructions using the backtranslation approach proposed by Li et al.(2023a), and rewrite the responses to improve their quality further based on the initial documents. Fine-tuning with the resulting (backtranslated instruction, rewritten response) pairs yields higher win rates on AlpacaEval than using other common instruction datasets such as Humpback, ShareGPT, Open Orca, Alpaca-GPT4 and Self-instruct. We also demonstrate that rewriting the responses with an LLM outperforms direct distillation, and the two generated text distributions exhibit significant distinction in embedding space. Further analysis shows that our backtranslated instructions are of higher quality than other sources of synthetic instructions, while our responses are more diverse and complex than those obtained from distillation. Overall we find that instruction back-and-forth translation combines the best of both worlds -- making use of the information diversity and quantity found on the web, while ensuring the quality of the responses which is necessary for effective alignment.