Roze Olifanten Onderdrukken met Directe Principe Feedback

Suppressing Pink Elephants with Direct Principle Feedback

February 12, 2024

Auteurs: Louis Castricato, Nathan Lile, Suraj Anand, Hailey Schoelkopf, Siddharth Verma, Stella Biderman

cs.AI

Samenvatting

Bestaande methoden voor het beheersen van taalmodellen, zoals RLHF en Constitutional AI, omvatten het bepalen welke LLM-gedragingen wenselijk zijn en deze te trainen in een taalmodel. In veel gevallen is het echter wenselijk dat LLM's tijdens de inferentie beheersbaar zijn, zodat ze in meerdere contexten met uiteenlopende behoeften kunnen worden gebruikt. We illustreren dit met het Roze Olifant Probleem: een LLM instrueren om een bepaalde entiteit (een "Roze Olifant") niet te bespreken, en in plaats daarvan een voorkeursentiteit ("Grijze Olifant") te bespreken. We passen een nieuwe vereenvoudiging van Constitutional AI toe, Direct Principle Feedback, die het rangschikken van reacties overslaat en DPO direct gebruikt op kritieken en revisies. Onze resultaten laten zien dat na DPF-finetuning op onze synthetische Roze Olifanten dataset, ons 13B gefinetunede LLaMA 2-model aanzienlijk beter presteert dan Llama-2-13B-Chat en een geprompt baseline, en even goed presteert als GPT-4 op onze samengestelde testset die het Roze Olifant Probleem beoordeelt.

English

Existing methods for controlling language models, such as RLHF and Constitutional AI, involve determining which LLM behaviors are desirable and training them into a language model. However, in many cases, it is desirable for LLMs to be controllable at inference time, so that they can be used in multiple contexts with diverse needs. We illustrate this with the Pink Elephant Problem: instructing an LLM to avoid discussing a certain entity (a ``Pink Elephant''), and instead discuss a preferred entity (``Grey Elephant''). We apply a novel simplification of Constitutional AI, Direct Principle Feedback, which skips the ranking of responses and uses DPO directly on critiques and revisions. Our results show that after DPF fine-tuning on our synthetic Pink Elephants dataset, our 13B fine-tuned LLaMA 2 model significantly outperforms Llama-2-13B-Chat and a prompted baseline, and performs as well as GPT-4 in on our curated test set assessing the Pink Elephant Problem.