RLVF: Aprendendo com Feedback Verbal sem Generalização Excessiva

RLVF: Learning from Verbal Feedback without Overgeneralization

February 16, 2024

Autores: Moritz Stephan, Alexander Khazatsky, Eric Mitchell, Annie S Chen, Sheryl Hsu, Archit Sharma, Chelsea Finn

cs.AI

Resumo

A diversidade de contextos em que modelos de linguagem de grande escala (LLMs) são implantados exige a capacidade de modificar ou personalizar os comportamentos padrão dos modelos para incorporar requisitos e preferências mais sutis. Uma interface conveniente para especificar tais ajustes no modelo é o feedback verbal de alto nível, como "Não use emojis ao redigir e-mails para meu chefe". No entanto, embora escrever feedback de alto nível seja muito mais simples do que coletar anotações para o aprendizado por reforço com feedback humano (RLHF), descobrimos que simplesmente solicitar ao modelo com esse feedback leva a uma generalização excessiva do feedback para contextos onde ele não é relevante. Estudamos o problema de incorporar feedback verbal sem essa generalização excessiva, inspirando um novo método chamado Críticas Contextualizadas com Otimização de Preferências Restritas (C3PO). O C3PO utiliza um feedback de alto nível para gerar um pequeno conjunto de dados sintéticos de preferências que especifica como o feedback deve (e não deve) ser aplicado. Em seguida, ele ajusta o modelo de acordo com os dados sintéticos de preferência, minimizando a divergência do modelo original para prompts onde o feedback não se aplica. Nossos resultados experimentais indicam que nossa abordagem aplica efetivamente o feedback verbal a cenários relevantes, preservando os comportamentos existentes para outros contextos. Tanto para feedback de alto nível gerado por humanos quanto pelo GPT-4, o C3PO adere efetivamente ao feedback fornecido de forma comparável às linhas de base em contexto, reduzindo a generalização excessiva em 30%.

English

The diversity of contexts in which large language models (LLMs) are deployed requires the ability to modify or customize default model behaviors to incorporate nuanced requirements and preferences. A convenient interface to specify such model adjustments is high-level verbal feedback, such as "Don't use emojis when drafting emails to my boss." However, while writing high-level feedback is far simpler than collecting annotations for reinforcement learning from human feedback (RLHF), we find that simply prompting a model with such feedback leads to overgeneralization of the feedback to contexts where it is not relevant. We study the problem of incorporating verbal feedback without such overgeneralization, inspiring a new method Contextualized Critiques with Constrained Preference Optimization (C3PO). C3PO uses a piece of high-level feedback to generate a small synthetic preference dataset specifying how the feedback should (and should not) be applied. It then fine-tunes the model in accordance with the synthetic preference data while minimizing the divergence from the original model for prompts where the feedback does not apply. Our experimental results indicate that our approach effectively applies verbal feedback to relevant scenarios while preserving existing behaviors for other contexts. For both human- and GPT-4-generated high-level feedback, C3PO effectively adheres to the given feedback comparably to in-context baselines while reducing overgeneralization by 30%.