Neubewertung der Trust-Region im Reinforcement Learning für LLMs
Rethinking the Trust Region in LLM Reinforcement Learning
February 4, 2026
papers.authors: Penghui Qi, Xiangxin Zhou, Zichen Liu, Tianyu Pang, Chao Du, Min Lin, Wee Sun Lee
cs.AI
papers.abstract
Reinforcement Learning (RL) hat sich als Eckpfeiler für das Feinabstimmen von Large Language Models (LLMs) etabliert, wobei Proximal Policy Optimization (PPO) der de-facto Standardalgorithmus ist. Trotz seiner weiten Verbreitung argumentieren wir, dass der zentrale Mechanismus des Ratio-Clippings in PPO strukturell ungeeignet für die großen Vokabulare ist, die LLMs inhärent sind. PPO beschränkt Policy-Updates auf Basis des Wahrscheinlichkeitsverhältnisses der gesampelten Tokens, was als verrauschte Einzelstichproben-Monte-Carlo-Schätzung der wahren Policy-Divergenz dient. Dies erzeugt eine suboptimale Lern-Dynamik: Updates für Tokens mit geringer Wahrscheinlichkeit werden aggressiv überbestraft, während potenziell katastrophale Verschiebungen bei Tokens mit hoher Wahrscheinlichkeit unzureichend eingeschränkt werden, was zu Ineffizienz und Instabilität im Training führt. Um dies zu adressieren, schlagen wir Divergence Proximal Policy Optimization (DPPO) vor, die das heuristische Clipping durch eine prinzipiellere Beschränkung basierend auf einer direkten Schätzung der Policy-Divergenz (z.B. Total Variation oder KL) ersetzt. Um einen hohen Speicherbedarf zu vermeiden, führen wir die effizienten Binary- und Top-K-Approximationen ein, um die wesentliche Divergenz mit vernachlässigbarem Overhead zu erfassen. Umfangreiche empirische Auswertungen zeigen, dass DPPO im Vergleich zu bestehenden Methoden eine überlegene Trainingsstabilität und -effizienz erreicht und eine robustere Grundlage für RL-basiertes LLM-Finetuning bietet.
English
Reinforcement learning (RL) has become a cornerstone for fine-tuning Large Language Models (LLMs), with Proximal Policy Optimization (PPO) serving as the de facto standard algorithm. Despite its ubiquity, we argue that the core ratio clipping mechanism in PPO is structurally ill-suited for the large vocabularies inherent to LLMs. PPO constrains policy updates based on the probability ratio of sampled tokens, which serves as a noisy single-sample Monte Carlo estimate of the true policy divergence. This creates a sub-optimal learning dynamic: updates to low-probability tokens are aggressively over-penalized, while potentially catastrophic shifts in high-probability tokens are under-constrained, leading to training inefficiency and instability. To address this, we propose Divergence Proximal Policy Optimization (DPPO), which substitutes heuristic clipping with a more principled constraint based on a direct estimate of policy divergence (e.g., Total Variation or KL). To avoid huge memory footprint, we introduce the efficient Binary and Top-K approximations to capture the essential divergence with negligible overhead. Extensive empirical evaluations demonstrate that DPPO achieves superior training stability and efficiency compared to existing methods, offering a more robust foundation for RL-based LLM fine-tuning.