Adaptive Layerweise Perturbation: Vereinheitlichung von Off-Policy-Korrekturen für RL mit großen Sprachmodellen

Adaptive Layerwise Perturbation: Unifying Off-Policy Corrections for LLM RL

March 19, 2026

Autoren: Chenlu Ye, Xuanchang Zhang, Yifan Hao, Zhou Yu, Ziji Zhang, Abhinav Gullapalli, Hao Chen, Jing Huang, Tong Zhang

cs.AI

Zusammenfassung

Off-Policy-Probleme wie Policy-Stagnation und Trainings-Inferenz-Diskrepanz haben sich zu einem Hauptengpass für Trainingsstabilität und weitere Exploration bei LLM-RL entwickelt. Um die Inferenzeffizienz zu steigern, vergrößert sich die Verteilungslücke zwischen Inferenz und aktualisierter Policy, was zu schwerlastigen Importance Ratios führt. Schwerlastige Ratios entstehen, wenn die Policy lokal spitz ist, was wiederum spitze Gradienten aufbläht und Updates außerhalb der Trust-Region drängen kann. Um dies zu adressieren, schlagen wir Adaptive Layerwise Perturbation (ALP) vor, bei der während Updates kleine lernbare Perturbationen in die versteckten Eingabezustände jeder Schicht injiziert werden. Diese dienen im Ziel als Zähler des Importance Ratios gegenüber der unveränderten Inferenz-Policy. Intuitiv verhindert ALP durch das Hinzufügen kontrollierten Rauschens zu intermediären Repräsentationen, dass sich die aktualisierte Policy zu abrupt von der Inferenz-Policy entfernt, und erweitert die Policy-Familie, um die Inferenz-Policy-Familie mit Fehlanpassungsrauschen abzudecken. Somit kann die abgeflachte Verteilung die Lücke zwischen aktualisierter und Inferenz-Policy natürlicherweise verringern und den Ausläufer der Importance Ratios reduzieren, wodurch die Trainingsstabilität erhalten bleibt. Dies wird empirisch weiter validiert. Experimente zu einstufigen Mathe- und mehrstufigen, toolintegrierten Reasoning-Aufgaben zeigen, dass ALP nicht nur die Endleistung verbessert, sondern auch ein Explodieren des Importance-Ratio-Ausläufers und KL-Spikes während des iterativen Trainings vermeidet, verbunden mit gesteigerter Exploration. Ablationstudien belegen, dass Perturbationen auf Repräsentationsebene über alle Schichten hinweg am effektivsten sind und partielle Schicht- sowie rein Logits-Varianten erheblich übertreffen.

English

Off-policy problems such as policy staleness and training-inference mismatch, has become a major bottleneck for training stability and further exploration for LLM RL. To enhance inference efficiency, the distribution gap between the inference and updated policy grows, leading to heavy-tailed importance ratios. Heavy-tailed ratios arise when the policy is locally sharp, which further inflates sharp gradients and can push updates outside the trust region. To address this, we propose Adaptive Layerwise Perturbation(ALP) by injecting small learnable perturbations into input hidden states of each layer during updates, which is used as the numerator of the importance ratio against the unchanged inference policy in the objective. Intuitively, by adding controlled noise to intermediate representations, ALP prevents the updated policy from deviating too sharply from the inference policy, and enlarges the policy family to cover the inference policy family with mismatch noises. Hence, the flattened distribution can naturally tighten the updated and inference policy gap and reduce the tail of importance ratios, thus maintaining training stability. This is further validated empirically. Experiments on single-turn math and multi-turn tool-integrated reasoning tasks show that ALP not only improves final performance, but also avoid blow up of importance ratio tail and KL spikes during iterative training, along with boosted exploration. Ablations show that representation-level perturbations across all layers are most effective, substantially outperforming partial-layer and logits-only variants.