Подавление "розовых слонов" с помощью прямой обратной связи на основе принципов

Suppressing Pink Elephants with Direct Principle Feedback

February 12, 2024

Авторы: Louis Castricato, Nathan Lile, Suraj Anand, Hailey Schoelkopf, Siddharth Verma, Stella Biderman

cs.AI

Аннотация

Существующие методы управления языковыми моделями, такие как RLHF и Constitutional AI, предполагают определение желаемого поведения языковых моделей (LLM) и их обучение в соответствии с этими критериями. Однако во многих случаях желательно, чтобы LLM были управляемыми на этапе вывода, что позволит использовать их в различных контекстах с разнообразными требованиями. Мы иллюстрируем это на примере проблемы "Розового слона": инструкция LLM избегать обсуждения определённой сущности ("Розовый слон") и вместо этого обсуждать предпочтительную сущность ("Серый слон"). Мы применяем новое упрощение метода Constitutional AI — Direct Principle Feedback (DPF), которое пропускает этап ранжирования ответов и напрямую использует DPO на основе критики и исправлений. Наши результаты показывают, что после тонкой настройки с использованием DPF на нашем синтетическом наборе данных "Розовые слоны", наша 13B-модель LLaMA 2 значительно превосходит Llama-2-13B-Chat и базовый вариант с подсказками, а также демонстрирует результаты, сопоставимые с GPT-4, на нашем тестовом наборе, оценивающем проблему "Розового слона".

English

Existing methods for controlling language models, such as RLHF and Constitutional AI, involve determining which LLM behaviors are desirable and training them into a language model. However, in many cases, it is desirable for LLMs to be controllable at inference time, so that they can be used in multiple contexts with diverse needs. We illustrate this with the Pink Elephant Problem: instructing an LLM to avoid discussing a certain entity (a ``Pink Elephant''), and instead discuss a preferred entity (``Grey Elephant''). We apply a novel simplification of Constitutional AI, Direct Principle Feedback, which skips the ranking of responses and uses DPO directly on critiques and revisions. Our results show that after DPF fine-tuning on our synthetic Pink Elephants dataset, our 13B fine-tuned LLaMA 2 model significantly outperforms Llama-2-13B-Chat and a prompted baseline, and performs as well as GPT-4 in on our curated test set assessing the Pink Elephant Problem.