Repensando a Região de Confiança no Reforço de Aprendizado em LLM
Rethinking the Trust Region in LLM Reinforcement Learning
February 4, 2026
Autores: Penghui Qi, Xiangxin Zhou, Zichen Liu, Tianyu Pang, Chao Du, Min Lin, Wee Sun Lee
cs.AI
Resumo
O aprendizado por reforço (RL) tornou-se um pilar fundamental para o ajuste fino de Modelos de Linguagem de Grande Porte (LLMs), sendo o Proximal Policy Optimization (PPO) o algoritmo padrão de fato. Apesar de sua ubiquidade, argumentamos que o mecanismo central de *clipping* da razão no PPO é estruturalmente inadequado para os grandes vocabulários inerentes aos LLMs. O PPO restringe as atualizações da política com base na razão de probabilidade dos *tokens* amostrados, que funciona como uma estimativa de Monte Carlo ruidosa de uma única amostra para a verdadeira divergência da política. Isso cria uma dinâmica de aprendizado subótima: atualizações para *tokens* de baixa probabilidade são agressivamente superpenalizadas, enquanto mudanças potencialmente catastróficas em *tokens* de alta probabilidade são sub-restritas, levando a ineficiência e instabilidade no treinamento. Para resolver isso, propomos o Divergence Proximal Policy Optimization (DPPO), que substitui o *clipping* heurístico por uma restrição mais fundamentada, baseada numa estimativa direta da divergência da política (por exemplo, Variação Total ou KL). Para evitar uma enorme pegada de memória, introduzimos as aproximações eficientes Binária e Top-K para capturar a divergência essencial com sobrecarga insignificante. Extensas avaliações empíricas demonstram que o DPPO alcança estabilidade e eficiência de treinamento superiores em comparação com os métodos existentes, oferecendo uma base mais robusta para o ajuste fino de LLMs baseado em RL.
English
Reinforcement learning (RL) has become a cornerstone for fine-tuning Large Language Models (LLMs), with Proximal Policy Optimization (PPO) serving as the de facto standard algorithm. Despite its ubiquity, we argue that the core ratio clipping mechanism in PPO is structurally ill-suited for the large vocabularies inherent to LLMs. PPO constrains policy updates based on the probability ratio of sampled tokens, which serves as a noisy single-sample Monte Carlo estimate of the true policy divergence. This creates a sub-optimal learning dynamic: updates to low-probability tokens are aggressively over-penalized, while potentially catastrophic shifts in high-probability tokens are under-constrained, leading to training inefficiency and instability. To address this, we propose Divergence Proximal Policy Optimization (DPPO), which substitutes heuristic clipping with a more principled constraint based on a direct estimate of policy divergence (e.g., Total Variation or KL). To avoid huge memory footprint, we introduce the efficient Binary and Top-K approximations to capture the essential divergence with negligible overhead. Extensive empirical evaluations demonstrate that DPPO achieves superior training stability and efficiency compared to existing methods, offering a more robust foundation for RL-based LLM fine-tuning.