RLVF: 過剰一般化を伴わない言語フィードバックからの学習

RLVF: Learning from Verbal Feedback without Overgeneralization

February 16, 2024

著者: Moritz Stephan, Alexander Khazatsky, Eric Mitchell, Annie S Chen, Sheryl Hsu, Archit Sharma, Chelsea Finn

cs.AI

要旨

大規模言語モデル（LLM）が展開される多様なコンテキストにおいては、デフォルトのモデル挙動を修正またはカスタマイズし、微妙な要件や好みを組み込む能力が求められます。そのようなモデル調整を指定するための便利なインターフェースは、「上司へのメールを下書きする際に絵文字を使わないでください」といった高レベルの言語フィードバックです。しかし、高レベルのフィードバックを書くことは、人間からのフィードバックを用いた強化学習（RLHF）のためのアノテーションを収集するよりもはるかに簡単ですが、単にそのようなフィードバックをモデルに提示すると、フィードバックが関連しないコンテキストに過剰に一般化されることがわかります。私たちは、そのような過剰一般化を避けつつ言語フィードバックを組み込む問題を研究し、新しい手法「Contextualized Critiques with Constrained Preference Optimization（C3PO）」を提案します。C3POは、高レベルのフィードバックを用いて、そのフィードバックがどのように適用されるべきか（またされるべきでないか）を指定する小さな合成選好データセットを生成します。その後、フィードバックが適用されないプロンプトに対して元のモデルからの乖離を最小化しつつ、合成選好データに従ってモデルを微調整します。実験結果は、私たちのアプローチが関連するシナリオに言語フィードバックを効果的に適用しつつ、他のコンテキストでの既存の挙動を維持することを示しています。人間およびGPT-4によって生成された高レベルのフィードバックの両方において、C3POはコンテキスト内ベースラインと同等に与えられたフィードバックに従いつつ、過剰一般化を30％削減します。

English

The diversity of contexts in which large language models (LLMs) are deployed requires the ability to modify or customize default model behaviors to incorporate nuanced requirements and preferences. A convenient interface to specify such model adjustments is high-level verbal feedback, such as "Don't use emojis when drafting emails to my boss." However, while writing high-level feedback is far simpler than collecting annotations for reinforcement learning from human feedback (RLHF), we find that simply prompting a model with such feedback leads to overgeneralization of the feedback to contexts where it is not relevant. We study the problem of incorporating verbal feedback without such overgeneralization, inspiring a new method Contextualized Critiques with Constrained Preference Optimization (C3PO). C3PO uses a piece of high-level feedback to generate a small synthetic preference dataset specifying how the feedback should (and should not) be applied. It then fine-tunes the model in accordance with the synthetic preference data while minimizing the divergence from the original model for prompts where the feedback does not apply. Our experimental results indicate that our approach effectively applies verbal feedback to relevant scenarios while preserving existing behaviors for other contexts. For both human- and GPT-4-generated high-level feedback, C3PO effectively adheres to the given feedback comparably to in-context baselines while reducing overgeneralization by 30%.