MA-RLHF : Apprentissage par Renforcement à partir des Retours Humains avec Actions Macro

MA-RLHF: Reinforcement Learning from Human Feedback with Macro Actions

October 3, 2024

Auteurs: Yekun Chai, Haoran Sun, Huang Fang, Shuohuan Wang, Yu Sun, Hua Wu

cs.AI

Résumé

L'apprentissage par renforcement à partir des retours humains (RLHF) a démontré son efficacité pour aligner les grands modèles de langage (LLMs) sur les préférences humaines. Cependant, le RLHF au niveau du jeton souffre du problème d'attribution de crédit sur de longues séquences, où les récompenses retardées rendent difficile pour le modèle de discerner quelles actions ont contribué aux résultats réussis. Cela entrave l'efficacité de l'apprentissage et ralentit la convergence. Dans cet article, nous proposons MA-RLHF, un cadre RLHF simple mais efficace qui intègre des macro-actions - séquences de jetons ou des constructions linguistiques de niveau supérieur - dans le processus d'apprentissage. En opérant à ce niveau plus élevé d'abstraction, notre approche réduit la distance temporelle entre les actions et les récompenses, facilitant une attribution de crédit plus rapide et plus précise. Cela se traduit par des estimations de gradient de politique plus stables et améliore l'efficacité de l'apprentissage au sein de chaque épisode, le tout sans augmenter la complexité computationnelle pendant l'entraînement ou l'inférence. Nous validons notre approche à travers des expériences approfondies sur diverses tailles de modèles et tâches, y compris la résumé de texte, la génération de dialogues, la réponse à des questions et la synthèse de programmes. Notre méthode atteint des améliorations de performance substantielles par rapport au RLHF standard, avec des gains de performance allant jusqu'à 30% dans la résumé de texte et la génération de code, 18% dans les dialogues, et 8% dans les tâches de réponse à des questions. Notamment, notre approche atteint la parité avec le RLHF classique 1,7 à 2 fois plus rapidement en termes de temps d'entraînement et continue à le surpasser avec un entraînement supplémentaire. Nous rendrons notre code et nos données publiquement disponibles sur https://github.com/ernie-research/MA-RLHF.

English

Reinforcement learning from human feedback (RLHF) has demonstrated effectiveness in aligning large language models (LLMs) with human preferences. However, token-level RLHF suffers from the credit assignment problem over long sequences, where delayed rewards make it challenging for the model to discern which actions contributed to successful outcomes. This hinders learning efficiency and slows convergence. In this paper, we propose MA-RLHF, a simple yet effective RLHF framework that incorporates macro actions -- sequences of tokens or higher-level language constructs -- into the learning process. By operating at this higher level of abstraction, our approach reduces the temporal distance between actions and rewards, facilitating faster and more accurate credit assignment. This results in more stable policy gradient estimates and enhances learning efficiency within each episode, all without increasing computational complexity during training or inference. We validate our approach through extensive experiments across various model sizes and tasks, including text summarization, dialogue generation, question answering, and program synthesis. Our method achieves substantial performance improvements over standard RLHF, with performance gains of up to 30% in text summarization and code generation, 18% in dialogue, and 8% in question answering tasks. Notably, our approach reaches parity with vanilla RLHF 1.7x to 2x faster in terms of training time and continues to outperform it with further training. We will make our code and data publicly available at https://github.com/ernie-research/MA-RLHF .