RLVF: Обучение на основе вербальных отзывов без чрезмерного обобщения

RLVF: Learning from Verbal Feedback without Overgeneralization

February 16, 2024

Авторы: Moritz Stephan, Alexander Khazatsky, Eric Mitchell, Annie S Chen, Sheryl Hsu, Archit Sharma, Chelsea Finn

cs.AI

Аннотация

Разнообразие контекстов, в которых используются крупные языковые модели (LLM), требует возможности модификации или настройки стандартного поведения моделей для учета тонких требований и предпочтений. Удобным интерфейсом для указания таких корректировок является высокоуровневая вербальная обратная связь, например: "Не используй эмодзи при составлении писем моему начальнику." Однако, хотя написание высокоуровневой обратной связи значительно проще, чем сбор аннотаций для обучения с подкреплением на основе человеческой обратной связи (RLHF), мы обнаруживаем, что простое предоставление модели такой обратной связи приводит к избыточному обобщению, применяемому в контекстах, где это не уместно. Мы исследуем проблему включения вербальной обратной связи без такого избыточного обобщения, что вдохновило нас на разработку нового метода — Контекстуализированные Критики с Оптимизацией Ограниченных Предпочтений (C3PO). C3PO использует фрагмент высокоуровневой обратной связи для создания небольшого синтетического набора данных предпочтений, указывающего, как обратная связь должна (и не должна) применяться. Затем модель тонко настраивается в соответствии с синтетическими данными предпочтений, минимизируя отклонение от исходной модели для запросов, где обратная связь неприменима. Наши экспериментальные результаты показывают, что наш подход эффективно применяет вербальную обратную связь к соответствующим сценариям, сохраняя существующее поведение для других контекстов. Для как человеческой, так и сгенерированной GPT-4 высокоуровневой обратной связи C3PO эффективно следует заданной обратной связи, сопоставимо с базовыми подходами в контексте, при этом снижая избыточное обобщение на 30%.

English

The diversity of contexts in which large language models (LLMs) are deployed requires the ability to modify or customize default model behaviors to incorporate nuanced requirements and preferences. A convenient interface to specify such model adjustments is high-level verbal feedback, such as "Don't use emojis when drafting emails to my boss." However, while writing high-level feedback is far simpler than collecting annotations for reinforcement learning from human feedback (RLHF), we find that simply prompting a model with such feedback leads to overgeneralization of the feedback to contexts where it is not relevant. We study the problem of incorporating verbal feedback without such overgeneralization, inspiring a new method Contextualized Critiques with Constrained Preference Optimization (C3PO). C3PO uses a piece of high-level feedback to generate a small synthetic preference dataset specifying how the feedback should (and should not) be applied. It then fine-tunes the model in accordance with the synthetic preference data while minimizing the divergence from the original model for prompts where the feedback does not apply. Our experimental results indicate that our approach effectively applies verbal feedback to relevant scenarios while preserving existing behaviors for other contexts. For both human- and GPT-4-generated high-level feedback, C3PO effectively adheres to the given feedback comparably to in-context baselines while reducing overgeneralization by 30%.