Richtlinienfilterung in RLHF zur Feinabstimmung von LLM für Code-Generierung

Policy Filtration in RLHF to Fine-Tune LLM for Code Generation

September 11, 2024

Autoren: Wei Shen, Chuheng Zhang

cs.AI

Zusammenfassung

Das Lernen durch Verstärkung von menschlichem Feedback (RLHF) ist eine der Schlüsseltechniken, die großen Sprachmodellen (LLMs) helfen, Anweisungen zu befolgen und hilfreiche und harmlose Antworten zu geben. Während direkte Methoden zur Optimierung von Richtlinien existieren, verwenden modernste LLMs RL-basierte Methoden (in der Regel PPO) in RLHF, um die Richtlinie zu trainieren, gute Antworten zu generieren, die von einem Belohnungsmodell geleitet werden, das aus Präferenzdaten gelernt wurde. Die Hauptherausforderung dieser Methoden besteht in der Ungenauigkeit des Zwischenbelohnungsmodells, insbesondere bei Codegenerierungsaufgaben, die eine lange und komplexe Argumentation erfordern, um eine Antwort zu bewerten. Wir stellen fest, dass die Zuverlässigkeit des Belohnungsmodells je nach den Antworten, die mit verschiedenen Belohnungen versehen sind, variiert. Dies motiviert uns, die Stichproben zu filtern, deren Belohnungen möglicherweise unzuverlässig sind, um das Signal-Rausch-Verhältnis während des Richtlinienlernens zu verbessern, was zu einer Richtlinienfiltration für die Proximal Policy Optimization (PF-PPO) führt. Um eine geeignete Richtlinienfiltrationsstrategie für ein gegebenes Belohnungsmodell auszuwählen, dient der Bestimmtheitskoeffizient (R^2) zwischen Belohnungen und tatsächlichen Punkten bei gefilterten Stichproben als gutes Maß und hilft uns, mehrere vielversprechende Strategien zu finden. Wir führen umfangreiche Experimente durch, um die Wirksamkeit von PF-PPO bei Codegenerierungsaufgaben zu validieren, und stellen fest, dass einige Varianten von PF-PPO sehr effektiv sind und eine neue Spitzenleistung bei 7-Milliarden-Parameter-Modellen auf HumanEval, MBPP und einem neuen und anspruchsvolleren LeetCode Contest-Benchmark erzielen.

English

Reinforcement learning from human feedback (RLHF) is one of the key techniques that helps large language models (LLMs) to follow instructions and provide helpful and harmless responses. While direct policy optimization methods exist, state-of-the-art LLMs adopt RL-based methods (usually PPO) in RLHF to train the policy to generate good responses guided by a reward model learned from preference data. The main challenge of these methods is the inaccuracy of the intermediate reward model, especially in code generation tasks that require long and complex reasoning to score a response. We find that the reliability of the reward model varies across responses assigned with different rewards. This motivates us to filter the samples whose rewards may be unreliable to improve signal-to-noise ratio during policy learning, resulting in Policy Filtration for Proximal Policy Optimization (PF-PPO). To choose a proper policy filtration strategy for a given reward model, the coefficient of determination (R^2) between rewards and actual scores on filtered samples serves as a good metrics and helps us find several promising strategies. We provide extensive experiments to validate the effectiveness of PF-PPO in code generation tasks, and find that some variants of PF-PPO are highly effective and achieve new state-of-the-art performance across 7-billion-parameter models on HumanEval, MBPP, and a new and more challenging LeetCode Contest benchmark.