直接原理フィードバックによるピンクの象の抑制

要旨

既存の言語モデル制御手法、例えばRLHF（Reinforcement Learning from Human Feedback）やConstitutional AIは、どのようなLLM（大規模言語モデル）の振る舞いが望ましいかを決定し、それを言語モデルに学習させることを含む。しかし、多くの場合、LLMを推論時に制御可能にすることが望ましく、これにより多様なニーズを持つ複数の文脈で使用できるようになる。これを「ピンクの象問題」で例示する：ある特定の実体（「ピンクの象」）について議論することを避け、代わりに望ましい実体（「灰色の象」）について議論するようLLMに指示する。我々は、Constitutional AIの新たな簡略化手法であるDirect Principle Feedback（DPF）を適用し、応答のランキングをスキップして、批判と修正に直接DPO（Direct Preference Optimization）を使用する。我々の結果は、合成されたピンクの象データセットに対するDPFファインチューニング後、13BファインチューニングされたLLaMA 2モデルがLlama-2-13B-Chatやプロンプトベースラインを大幅に上回り、ピンクの象問題を評価するためにキュレーションされたテストセットにおいてGPT-4と同等の性能を発揮することを示している。

English

Existing methods for controlling language models, such as RLHF and Constitutional AI, involve determining which LLM behaviors are desirable and training them into a language model. However, in many cases, it is desirable for LLMs to be controllable at inference time, so that they can be used in multiple contexts with diverse needs. We illustrate this with the Pink Elephant Problem: instructing an LLM to avoid discussing a certain entity (a ``Pink Elephant''), and instead discuss a preferred entity (``Grey Elephant''). We apply a novel simplification of Constitutional AI, Direct Principle Feedback, which skips the ranking of responses and uses DPO directly on critiques and revisions. Our results show that after DPF fine-tuning on our synthetic Pink Elephants dataset, our 13B fine-tuned LLaMA 2 model significantly outperforms Llama-2-13B-Chat and a prompted baseline, and performs as well as GPT-4 in on our curated test set assessing the Pink Elephant Problem.

直接原理フィードバックによるピンクの象の抑制

Suppressing Pink Elephants with Direct Principle Feedback

要旨

Support