Unterdrückung von rosa Elefanten durch direkte Prinzipienrückmeldung

Suppressing Pink Elephants with Direct Principle Feedback

February 12, 2024

Autoren: Louis Castricato, Nathan Lile, Suraj Anand, Hailey Schoelkopf, Siddharth Verma, Stella Biderman

cs.AI

Zusammenfassung

Bestehende Methoden zur Steuerung von Sprachmodellen, wie RLHF und Constitutional AI, beinhalten die Bestimmung, welche Verhaltensweisen von LLMs erwünscht sind, und deren Einbindung in ein Sprachmodell durch Training. In vielen Fällen ist es jedoch wünschenswert, dass LLMs zur Inferenzzeit steuerbar sind, damit sie in verschiedenen Kontexten mit unterschiedlichen Anforderungen eingesetzt werden können. Dies veranschaulichen wir mit dem Pink-Elefanten-Problem: Ein LLM wird angewiesen, eine bestimmte Entität (einen „Rosa Elefanten“) nicht zu erwähnen und stattdessen eine bevorzugte Entität („Grauer Elefant“) zu diskutieren. Wir wenden eine neuartige Vereinfachung von Constitutional AI an, Direct Principle Feedback, das das Ranking von Antworten überspringt und DPO direkt auf Kritiken und Überarbeitungen anwendet. Unsere Ergebnisse zeigen, dass nach der DPF-Feinabstimmung auf unserem synthetischen Pink-Elefanten-Datensatz unser feinabgestimmtes 13B-LLaMA-2-Modell Llama-2-13B-Chat und eine Baseline mit Prompting deutlich übertrifft und auf unserem kuratierten Testset zur Bewertung des Pink-Elefanten-Problems genauso gut abschneidet wie GPT-4.

English

Existing methods for controlling language models, such as RLHF and Constitutional AI, involve determining which LLM behaviors are desirable and training them into a language model. However, in many cases, it is desirable for LLMs to be controllable at inference time, so that they can be used in multiple contexts with diverse needs. We illustrate this with the Pink Elephant Problem: instructing an LLM to avoid discussing a certain entity (a ``Pink Elephant''), and instead discuss a preferred entity (``Grey Elephant''). We apply a novel simplification of Constitutional AI, Direct Principle Feedback, which skips the ranking of responses and uses DPO directly on critiques and revisions. Our results show that after DPF fine-tuning on our synthetic Pink Elephants dataset, our 13B fine-tuned LLaMA 2 model significantly outperforms Llama-2-13B-Chat and a prompted baseline, and performs as well as GPT-4 in on our curated test set assessing the Pink Elephant Problem.