Supprimer les éléphants roses grâce au retour direct sur les principes

Suppressing Pink Elephants with Direct Principle Feedback

February 12, 2024

Auteurs: Louis Castricato, Nathan Lile, Suraj Anand, Hailey Schoelkopf, Siddharth Verma, Stella Biderman

cs.AI

Résumé

Les méthodes existantes pour contrôler les modèles de langage, telles que le RLHF et l'IA Constitutionnelle, impliquent de déterminer quels comportements des LLM sont souhaitables et de les intégrer dans un modèle de langage. Cependant, dans de nombreux cas, il est préférable que les LLM soient contrôlables au moment de l'inférence, afin qu'ils puissent être utilisés dans divers contextes aux besoins variés. Nous illustrons cela avec le problème de l'Éléphant Rose : demander à un LLM d'éviter de mentionner une certaine entité (un « Éléphant Rose ») et de discuter plutôt d'une entité préférée (« Éléphant Gris »). Nous appliquons une simplification novatrice de l'IA Constitutionnelle, le Feedback Direct sur les Principes, qui évite le classement des réponses et utilise directement le DPO sur les critiques et les révisions. Nos résultats montrent qu'après un fine-tuning avec DPF sur notre jeu de données synthétiques d'Éléphants Roses, notre modèle LLaMA 2 de 13B fine-tuné surpasse significativement Llama-2-13B-Chat et une baseline basée sur des prompts, et performe aussi bien que GPT-4 sur notre ensemble de tests évaluant le problème de l'Éléphant Rose.

English

Existing methods for controlling language models, such as RLHF and Constitutional AI, involve determining which LLM behaviors are desirable and training them into a language model. However, in many cases, it is desirable for LLMs to be controllable at inference time, so that they can be used in multiple contexts with diverse needs. We illustrate this with the Pink Elephant Problem: instructing an LLM to avoid discussing a certain entity (a ``Pink Elephant''), and instead discuss a preferred entity (``Grey Elephant''). We apply a novel simplification of Constitutional AI, Direct Principle Feedback, which skips the ranking of responses and uses DPO directly on critiques and revisions. Our results show that after DPF fine-tuning on our synthetic Pink Elephants dataset, our 13B fine-tuned LLaMA 2 model significantly outperforms Llama-2-13B-Chat and a prompted baseline, and performs as well as GPT-4 in on our curated test set assessing the Pink Elephant Problem.