Perturbation Adaptative par Couches : Unification des Corrections Hors-Politique pour l’Apprentissage par Renforcement des LLM

Adaptive Layerwise Perturbation: Unifying Off-Policy Corrections for LLM RL

March 19, 2026

Auteurs: Chenlu Ye, Xuanchang Zhang, Yifan Hao, Zhou Yu, Ziji Zhang, Abhinav Gullapalli, Hao Chen, Jing Huang, Tong Zhang

cs.AI

Résumé

Les problèmes hors-politique tels que la stagnation des politiques et l'écart entre entraînement et inférence sont devenus un goulot d'étranglement majeur pour la stabilité de l'entraînement et l'exploration ultérieure en apprentissage par renforcement pour LLM. Pour améliorer l'efficacité de l'inférence, l'écart de distribution entre la politique d'inférence et la politique mise à jour s'accroît, conduisant à des ratios d'importance à queue lourde. Ces ratios surviennent lorsque la politique est localement abrupte, ce qui amplifie les gradients abrupts et peut pousser les mises à jour hors de la région de confiance. Pour y remédier, nous proposons la Perturbation Adaptative par Couches (ALP) en injectant de petites perturbations apprenables dans les états cachés d'entrée de chaque couche durant les mises à jour, utilisées comme numérateur du ratio d'importance contre la politique d'inférence inchangée dans l'objectif. Intuitivement, en ajoutant un bruit contrôlé aux représentations intermédiaires, ALP empêche la politique mise à jour de dévier trop brutalement de la politique d'inférence, et élargit la famille de politiques pour couvrir la famille de politiques d'inférence avec des bruits de discordance. Ainsi, la distribution aplatie peut naturellement réduire l'écart entre les politiques mise à jour et d'inférence et atténuer la queue des ratios d'importance, maintenant ainsi la stabilité de l'entraînement. Ceci est empiriquement validé. Les expériences sur des tâches de raisonnement mathématique en tour unique et de raisonnement intégrant des outils en tours multiples montrent qu'ALP améliore non seulement les performances finales, mais évite aussi l'explosion de la queue du ratio d'importance et les pics de KL durant l'entraînement itératif, tout en stimulant l'exploration. Les études d'ablation révèlent que les perturbations au niveau des représentations sur toutes les couches sont les plus efficaces, surpassant substantiellement les variantes partielles et limitées aux logits.

English

Off-policy problems such as policy staleness and training-inference mismatch, has become a major bottleneck for training stability and further exploration for LLM RL. To enhance inference efficiency, the distribution gap between the inference and updated policy grows, leading to heavy-tailed importance ratios. Heavy-tailed ratios arise when the policy is locally sharp, which further inflates sharp gradients and can push updates outside the trust region. To address this, we propose Adaptive Layerwise Perturbation(ALP) by injecting small learnable perturbations into input hidden states of each layer during updates, which is used as the numerator of the importance ratio against the unchanged inference policy in the objective. Intuitively, by adding controlled noise to intermediate representations, ALP prevents the updated policy from deviating too sharply from the inference policy, and enlarges the policy family to cover the inference policy family with mismatch noises. Hence, the flattened distribution can naturally tighten the updated and inference policy gap and reduce the tail of importance ratios, thus maintaining training stability. This is further validated empirically. Experiments on single-turn math and multi-turn tool-integrated reasoning tasks show that ALP not only improves final performance, but also avoid blow up of importance ratio tail and KL spikes during iterative training, along with boosted exploration. Ablations show that representation-level perturbations across all layers are most effective, substantially outperforming partial-layer and logits-only variants.