合成フィードバックによる大規模言語モデルのアラインメント

Aligning Large Language Models through Synthetic Feedback

May 23, 2023

著者: Sungdong Kim, Sanghwan Bae, Jamin Shin, Soyoung Kang, Donghyun Kwak, Kang Min Yoo, Minjoon Seo

cs.AI

要旨

大規模言語モデル（LLM）を人間の価値観に適合させることは、LLMを高度に制御することを可能にするため、ますます重要になっている。例えば、与えられた指示に従わせながら、有害性を低く保つことなどが挙げられる。しかし、これには大量の人間によるデモンストレーションとフィードバックが必要となる。最近では、オープンソースのモデルが、InstructGPTやChatGPTのような既に適合済みのLLMからデータを蒸留することで、適合学習プロセスを再現しようと試みている。このプロセスは人間の労力を削減するが、これらのデータセットの構築は教師モデルに大きく依存している。本研究では、人間の労力をほとんど必要とせず、事前に適合済みのLLMに依存しない新しい適合学習フレームワークを提案する。まず、さまざまなサイズとプロンプトを持つバニラLLMからの応答を対比させることで、合成フィードバックを用いた報酬モデリング（RM）を行う。次に、このRMを用いて高品質なデモンストレーションをシミュレートし、教師ありポリシーのトレーニングと、強化学習によるモデルのさらなる最適化を行う。その結果得られたモデル、Aligned Language Model with Synthetic Training dataset（ALMoST）は、InstructGPTの出力や人間による注釈付き指示に基づいてトレーニングされたAlpaca、Dolly、OpenAssistantなどのオープンソースモデルを上回る性能を示す。我々の7Bサイズのモデルは、GPT-4を評価者としたA/Bテストにおいて、12-13Bモデルを平均約75%の勝率で上回った。

English

Aligning large language models (LLMs) to human values has become increasingly important as it enables sophisticated steering of LLMs, e.g., making them follow given instructions while keeping them less toxic. However, it requires a significant amount of human demonstrations and feedback. Recently, open-sourced models have attempted to replicate the alignment learning process by distilling data from already aligned LLMs like InstructGPT or ChatGPT. While this process reduces human efforts, constructing these datasets has a heavy dependency on the teacher models. In this work, we propose a novel framework for alignment learning with almost no human labor and no dependency on pre-aligned LLMs. First, we perform reward modeling (RM) with synthetic feedback by contrasting responses from vanilla LLMs with various sizes and prompts. Then, we use the RM for simulating high-quality demonstrations to train a supervised policy and for further optimizing the model with reinforcement learning. Our resulting model, Aligned Language Model with Synthetic Training dataset (ALMoST), outperforms open-sourced models, including Alpaca, Dolly, and OpenAssistant, which are trained on the outputs of InstructGPT or human-annotated instructions. Our 7B-sized model outperforms the 12-13B models in the A/B tests using GPT-4 as the judge with about 75% winning rate on average.