RLVF: Leren van verbale feedback zonder overgeneralisatie

RLVF: Learning from Verbal Feedback without Overgeneralization

February 16, 2024

Auteurs: Moritz Stephan, Alexander Khazatsky, Eric Mitchell, Annie S Chen, Sheryl Hsu, Archit Sharma, Chelsea Finn

cs.AI

Samenvatting

De diversiteit aan contexten waarin grote taalmodellen (LLMs) worden ingezet, vereist de mogelijkheid om standaardmodelgedrag aan te passen of te personaliseren om genuanceerde vereisten en voorkeuren te integreren. Een handige interface om dergelijke modelaanpassingen te specificeren, is hoogwaardige verbale feedback, zoals "Gebruik geen emoji's bij het opstellen van e-mails aan mijn baas." Hoewel het schrijven van hoogwaardige feedback veel eenvoudiger is dan het verzamelen van annotaties voor reinforcement learning met menselijke feedback (RLHF), ontdekken we dat het simpelweg aanbieden van dergelijke feedback aan een model leidt tot overgeneralisatie van de feedback naar contexten waar deze niet relevant is. Wij bestuderen het probleem van het integreren van verbale feedback zonder dergelijke overgeneralisatie, wat leidt tot een nieuwe methode genaamd Contextualized Critiques with Constrained Preference Optimization (C3PO). C3PO gebruikt een stuk hoogwaardige feedback om een kleine synthetische voorkeursdataset te genereren die specificeert hoe de feedback wel en niet moet worden toegepast. Vervolgens wordt het model verfijnd in overeenstemming met de synthetische voorkeursdata, terwijl de divergentie van het oorspronkelijke model wordt geminimaliseerd voor prompts waar de feedback niet van toepassing is. Onze experimentele resultaten tonen aan dat onze aanpak verbale feedback effectief toepast op relevante scenario's, terwijl bestaand gedrag voor andere contexten behouden blijft. Voor zowel door mensen gegenereerde als door GPT-4 gegenereerde hoogwaardige feedback, houdt C3PO zich effectief aan de gegeven feedback, vergelijkbaar met in-context baseline-methoden, terwijl overgeneralisatie met 30% wordt verminderd.

English

The diversity of contexts in which large language models (LLMs) are deployed requires the ability to modify or customize default model behaviors to incorporate nuanced requirements and preferences. A convenient interface to specify such model adjustments is high-level verbal feedback, such as "Don't use emojis when drafting emails to my boss." However, while writing high-level feedback is far simpler than collecting annotations for reinforcement learning from human feedback (RLHF), we find that simply prompting a model with such feedback leads to overgeneralization of the feedback to contexts where it is not relevant. We study the problem of incorporating verbal feedback without such overgeneralization, inspiring a new method Contextualized Critiques with Constrained Preference Optimization (C3PO). C3PO uses a piece of high-level feedback to generate a small synthetic preference dataset specifying how the feedback should (and should not) be applied. It then fine-tunes the model in accordance with the synthetic preference data while minimizing the divergence from the original model for prompts where the feedback does not apply. Our experimental results indicate that our approach effectively applies verbal feedback to relevant scenarios while preserving existing behaviors for other contexts. For both human- and GPT-4-generated high-level feedback, C3PO effectively adheres to the given feedback comparably to in-context baselines while reducing overgeneralization by 30%.