MA-RLHF: Verstärkendes Lernen aus menschlichem Feedback mit Makroaktionen

MA-RLHF: Reinforcement Learning from Human Feedback with Macro Actions

October 3, 2024

Autoren: Yekun Chai, Haoran Sun, Huang Fang, Shuohuan Wang, Yu Sun, Hua Wu

cs.AI

Zusammenfassung

Die Verstärkungslernmethode mit menschlichem Feedback (RLHF) hat ihre Wirksamkeit bei der Ausrichtung großer Sprachmodelle (LLMs) auf menschliche Präferenzen gezeigt. Allerdings leidet das Token-Level RLHF unter dem Problem der Zurechnung von Belohnungen über lange Sequenzen, bei denen verzögerte Belohnungen es für das Modell herausfordernd machen zu erkennen, welche Aktionen zu erfolgreichen Ergebnissen beigetragen haben. Dies beeinträchtigt die Lerneffizienz und verlangsamt die Konvergenz. In diesem Artikel schlagen wir MA-RLHF vor, ein einfaches, aber effektives RLHF-Framework, das Makroaktionen - Sequenzen von Tokens oder höheren Sprachkonstrukten - in den Lernprozess integriert. Durch die Arbeit auf dieser höheren Abstraktionsebene reduziert unser Ansatz den zeitlichen Abstand zwischen Aktionen und Belohnungen, was eine schnellere und genauere Zurechnung von Belohnungen ermöglicht. Dies führt zu stabileren Schätzwerten des Policy Gradient und verbessert die Lerneffizienz innerhalb jeder Episode, ohne die Rechenkomplexität während des Trainings oder der Inferenz zu erhöhen. Wir validieren unseren Ansatz durch umfangreiche Experimente über verschiedene Modellgrößen und Aufgaben, einschließlich Textzusammenfassung, Dialoggenerierung, Fragebeantwortung und Programmsynthese. Unsere Methode erzielt signifikante Leistungsverbesserungen gegenüber dem Standard-RLHF, mit Leistungssteigerungen von bis zu 30% bei der Textzusammenfassung und der Codegenerierung, 18% im Dialog und 8% bei Fragebeantwortungsaufgaben. Bemerkenswert ist, dass unser Ansatz die Leistung von Vanilla RLHF in Bezug auf die Trainingszeit 1,7x bis 2x schneller erreicht und auch nach weiterem Training weiterhin übertroffen wird. Wir werden unseren Code und unsere Daten öffentlich zugänglich machen unter https://github.com/ernie-research/MA-RLHF.

English

Reinforcement learning from human feedback (RLHF) has demonstrated effectiveness in aligning large language models (LLMs) with human preferences. However, token-level RLHF suffers from the credit assignment problem over long sequences, where delayed rewards make it challenging for the model to discern which actions contributed to successful outcomes. This hinders learning efficiency and slows convergence. In this paper, we propose MA-RLHF, a simple yet effective RLHF framework that incorporates macro actions -- sequences of tokens or higher-level language constructs -- into the learning process. By operating at this higher level of abstraction, our approach reduces the temporal distance between actions and rewards, facilitating faster and more accurate credit assignment. This results in more stable policy gradient estimates and enhances learning efficiency within each episode, all without increasing computational complexity during training or inference. We validate our approach through extensive experiments across various model sizes and tasks, including text summarization, dialogue generation, question answering, and program synthesis. Our method achieves substantial performance improvements over standard RLHF, with performance gains of up to 30% in text summarization and code generation, 18% in dialogue, and 8% in question answering tasks. Notably, our approach reaches parity with vanilla RLHF 1.7x to 2x faster in terms of training time and continues to outperform it with further training. We will make our code and data publicly available at https://github.com/ernie-research/MA-RLHF .