Suprimiendo Elefantes Rosados con Retroalimentación Directa de Principios

Suppressing Pink Elephants with Direct Principle Feedback

February 12, 2024

Autores: Louis Castricato, Nathan Lile, Suraj Anand, Hailey Schoelkopf, Siddharth Verma, Stella Biderman

cs.AI

Resumen

Los métodos existentes para controlar modelos de lenguaje, como RLHF y Constitutional AI, implican determinar qué comportamientos de los LLM son deseables y entrenarlos en un modelo de lenguaje. Sin embargo, en muchos casos, es deseable que los LLM sean controlables en tiempo de inferencia, para que puedan usarse en múltiples contextos con necesidades diversas. Ilustramos esto con el Problema del Elefante Rosa: instruir a un LLM para que evite discutir una cierta entidad (un "Elefante Rosa") y, en su lugar, discuta una entidad preferida ("Elefante Gris"). Aplicamos una novedosa simplificación de Constitutional AI, Direct Principle Feedback, que omite la clasificación de respuestas y utiliza DPO directamente en críticas y revisiones. Nuestros resultados muestran que, después del ajuste fino con DPF en nuestro conjunto de datos sintéticos de Elefantes Rosas, nuestro modelo LLaMA 2 de 13B ajustado supera significativamente a Llama-2-13B-Chat y a una línea base basada en indicaciones, y tiene un rendimiento similar al de GPT-4 en nuestro conjunto de pruebas curadas que evalúa el Problema del Elefante Rosa.

English

Existing methods for controlling language models, such as RLHF and Constitutional AI, involve determining which LLM behaviors are desirable and training them into a language model. However, in many cases, it is desirable for LLMs to be controllable at inference time, so that they can be used in multiple contexts with diverse needs. We illustrate this with the Pink Elephant Problem: instructing an LLM to avoid discussing a certain entity (a ``Pink Elephant''), and instead discuss a preferred entity (``Grey Elephant''). We apply a novel simplification of Constitutional AI, Direct Principle Feedback, which skips the ranking of responses and uses DPO directly on critiques and revisions. Our results show that after DPF fine-tuning on our synthetic Pink Elephants dataset, our 13B fine-tuned LLaMA 2 model significantly outperforms Llama-2-13B-Chat and a prompted baseline, and performs as well as GPT-4 in on our curated test set assessing the Pink Elephant Problem.