Sopprimere gli Elefanti Rosa con il Feedback Diretto sui Principi

Suppressing Pink Elephants with Direct Principle Feedback

February 12, 2024

Autori: Louis Castricato, Nathan Lile, Suraj Anand, Hailey Schoelkopf, Siddharth Verma, Stella Biderman

cs.AI

Abstract

I metodi esistenti per controllare i modelli linguistici, come RLHF e Constitutional AI, implicano la determinazione di quali comportamenti dei LLM siano desiderabili e il loro addestramento all'interno di un modello linguistico. Tuttavia, in molti casi, è auspicabile che i LLM siano controllabili al momento dell'inferenza, in modo da poter essere utilizzati in contesti multipli con esigenze diverse. Illustriamo questo concetto con il problema dell'Elefante Rosa: istruire un LLM a evitare di discutere una certa entità (un "Elefante Rosa") e invece discutere un'entità preferita ("Elefante Grigio"). Applichiamo una nuova semplificazione del Constitutional AI, il Direct Principle Feedback, che salta la classificazione delle risposte e utilizza direttamente il DPO su critiche e revisioni. I nostri risultati mostrano che, dopo il fine-tuning con DPF sul nostro dataset sintetico degli Elefanti Rosa, il nostro modello LLaMA 2 da 13B fine-tuned supera significativamente Llama-2-13B-Chat e una baseline con prompt, e performa altrettanto bene di GPT-4 sul nostro set di test curato che valuta il problema dell'Elefante Rosa.

English

Existing methods for controlling language models, such as RLHF and Constitutional AI, involve determining which LLM behaviors are desirable and training them into a language model. However, in many cases, it is desirable for LLMs to be controllable at inference time, so that they can be used in multiple contexts with diverse needs. We illustrate this with the Pink Elephant Problem: instructing an LLM to avoid discussing a certain entity (a ``Pink Elephant''), and instead discuss a preferred entity (``Grey Elephant''). We apply a novel simplification of Constitutional AI, Direct Principle Feedback, which skips the ranking of responses and uses DPO directly on critiques and revisions. Our results show that after DPF fine-tuning on our synthetic Pink Elephants dataset, our 13B fine-tuned LLaMA 2 model significantly outperforms Llama-2-13B-Chat and a prompted baseline, and performs as well as GPT-4 in on our curated test set assessing the Pink Elephant Problem.