Perturbazione Adattiva a Strati: Unificazione delle Correzioni Off-Policy per il RL di LLM

Abstract

Problemi di tipo off-policy come l'obsolescenza della policy e la discrepanza tra addestramento e inferenza sono diventati un collo di bottiglia principale per la stabilità dell'addestramento e l'ulteriore esplorazione nell'RL per LLM. Per migliorare l'efficienza inferenziale, il divario distributivo tra la policy di inferenza e quella aggiornata si amplia, portando a rapporti di importanza dalla coda pesante. Questi rapporti si manifestano quando la policy è localmente ripida, il che amplifica ulteriormente gradienti accentuati e può spingere gli aggiornamenti al di fuori della regione di fiducia. Per affrontare ciò, proponiamo Perturbazione Adattiva Strato per Strato (ALP), iniettando piccole perturbazioni apprendibili negli stati nascosti di input di ogni strato durante gli aggiornamenti, che vengono utilizzate come numeratore del rapporto di importanza rispetto alla policy di inferenza invariata nell'obiettivo. Intuitivamente, aggiungendo rumore controllato alle rappresentazioni intermedie, ALP impedisce alla policy aggiornata di discostarsi troppo bruscamente da quella di inferenza e amplia la famiglia di policy per coprire quella di inferenza con rumori di disallineamento. Pertanto, la distribuzione appiattita può naturalmente ridurre il divario tra policy aggiornata e di inferenza e attenuare la coda dei rapporti di importanza, mantenendo così la stabilità dell'addestramento. Ciò è ulteriormente validato empiricamente. Esperimenti su compiti di ragionamento matematico a turno singolo e di ragionamento con integrazione di strumenti a turni multipli mostrano che ALP non solo migliora le prestazioni finali, ma evita anche l'esplosione della coda del rapporto di importanza e i picchi di KL durante l'addestramento iterativo, insieme a un'esplorazione potenziata. Studi di ablazione dimostrano che le perturbazioni a livello di rappresentazione su tutti gli strati sono le più efficaci, superando sostanzialmente le varianti a strati parziali e solo logit.

English

Off-policy problems such as policy staleness and training-inference mismatch, has become a major bottleneck for training stability and further exploration for LLM RL. To enhance inference efficiency, the distribution gap between the inference and updated policy grows, leading to heavy-tailed importance ratios. Heavy-tailed ratios arise when the policy is locally sharp, which further inflates sharp gradients and can push updates outside the trust region. To address this, we propose Adaptive Layerwise Perturbation(ALP) by injecting small learnable perturbations into input hidden states of each layer during updates, which is used as the numerator of the importance ratio against the unchanged inference policy in the objective. Intuitively, by adding controlled noise to intermediate representations, ALP prevents the updated policy from deviating too sharply from the inference policy, and enlarges the policy family to cover the inference policy family with mismatch noises. Hence, the flattened distribution can naturally tighten the updated and inference policy gap and reduce the tail of importance ratios, thus maintaining training stability. This is further validated empirically. Experiments on single-turn math and multi-turn tool-integrated reasoning tasks show that ALP not only improves final performance, but also avoid blow up of importance ratio tail and KL spikes during iterative training, along with boosted exploration. Ablations show that representation-level perturbations across all layers are most effective, substantially outperforming partial-layer and logits-only variants.

Perturbazione Adattiva a Strati: Unificazione delle Correzioni Off-Policy per il RL di LLM

Adaptive Layerwise Perturbation: Unifying Off-Policy Corrections for LLM RL

Abstract

Support