RLVF : Apprentissage à partir de retours verbaux sans sur-généralisation

RLVF: Learning from Verbal Feedback without Overgeneralization

February 16, 2024

Auteurs: Moritz Stephan, Alexander Khazatsky, Eric Mitchell, Annie S Chen, Sheryl Hsu, Archit Sharma, Chelsea Finn

cs.AI

Résumé

La diversité des contextes dans lesquels les grands modèles de langage (LLM) sont déployés nécessite la capacité de modifier ou de personnaliser les comportements par défaut du modèle pour intégrer des exigences et des préférences nuancées. Une interface pratique pour spécifier de tels ajustements du modèle est le retour verbal de haut niveau, comme par exemple : "N'utilise pas d'émoticônes lorsque tu rédiges des e-mails à mon supérieur." Cependant, bien que la rédaction de retours verbaux de haut niveau soit bien plus simple que la collecte d'annotations pour l'apprentissage par renforcement à partir de retours humains (RLHF), nous constatons que le simple fait de fournir un tel retour au modèle entraîne une sur-généralisation du retour à des contextes où il n'est pas pertinent. Nous étudions le problème de l'intégration de retours verbaux sans une telle sur-généralisation, ce qui inspire une nouvelle méthode : les Critiques Contextualisées avec Optimisation des Préférences Contraintes (C3PO). C3PO utilise un retour verbal de haut niveau pour générer un petit ensemble de données de préférences synthétiques spécifiant comment le retour devrait (ou ne devrait pas) être appliqué. Il affine ensuite le modèle en fonction des données de préférences synthétiques tout en minimisant la divergence par rapport au modèle original pour les prompts où le retour ne s'applique pas. Nos résultats expérimentaux indiquent que notre approche applique efficacement les retours verbaux aux scénarios pertinents tout en préservant les comportements existants pour d'autres contextes. Pour les retours de haut niveau générés par des humains et par GPT-4, C3PO adhère efficacement au retour donné, de manière comparable aux bases de référence en contexte, tout en réduisant la sur-généralisation de 30 %.

English

The diversity of contexts in which large language models (LLMs) are deployed requires the ability to modify or customize default model behaviors to incorporate nuanced requirements and preferences. A convenient interface to specify such model adjustments is high-level verbal feedback, such as "Don't use emojis when drafting emails to my boss." However, while writing high-level feedback is far simpler than collecting annotations for reinforcement learning from human feedback (RLHF), we find that simply prompting a model with such feedback leads to overgeneralization of the feedback to contexts where it is not relevant. We study the problem of incorporating verbal feedback without such overgeneralization, inspiring a new method Contextualized Critiques with Constrained Preference Optimization (C3PO). C3PO uses a piece of high-level feedback to generate a small synthetic preference dataset specifying how the feedback should (and should not) be applied. It then fine-tunes the model in accordance with the synthetic preference data while minimizing the divergence from the original model for prompts where the feedback does not apply. Our experimental results indicate that our approach effectively applies verbal feedback to relevant scenarios while preserving existing behaviors for other contexts. For both human- and GPT-4-generated high-level feedback, C3PO effectively adheres to the given feedback comparably to in-context baselines while reducing overgeneralization by 30%.