Адаптивное послойное возмущение: унификация внеполитических коррекций для RL больших языковых моделей

Аннотация

Проблемы, связанные с использованием политик, не соответствующих целевой (off-policy), такие как устаревание политики и несоответствие между обучением и выводом, стали основным препятствием для стабильности обучения и дальнейшего исследования в области RL для больших языковых моделей (LLM). Для повышения эффективности вывода разрыв между распределениями политики вывода и обновленной политики увеличивается, что приводит к тяжелым хвостам важностных весов. Тяжелые хвосты весов возникают, когда политика становится локально острой, что дополнительно усиливает резкие градиенты и может выталкивать обновления за пределы доверительной области. Для решения этой проблемы мы предлагаем метод адаптивного послойного возмущения (Adaptive Layerwise Perturbation, ALP), заключающийся во внесении небольших обучаемых возмущений во входные скрытые состояния каждого слоя в процессе обновления. Эти возмущения используются в числителе важностного веса в целевом функционале, в знаменателе которого остается неизменная политика вывода. Интуитивно, добавляя контролируемый шум в промежуточные представления, ALP предотвращает слишком резкое отклонение обновленной политики от политики вывода и расширяет семейство политик, чтобы охватить семейство политик вывода с учетом шума несоответствия. Таким образом, сглаженное распределение естественным образом сокращает разрыв между обновленной политикой и политикой вывода и уменьшает хвост важностных весов, поддерживая стабильность обучения. Это подтверждается эмпирически. Эксперименты на задачах одношагового математического и многошагового инструментального рассуждения показывают, что ALP не только улучшает итоговую производительность, но и предотвращает взрывной рост хвоста важностных весов и скачков KL-дивергенции в процессе итеративного обучения, одновременно способствуя усилению исследования. Абляционные исследования демонстрируют, что возмущения на уровне представлений во всех слоях являются наиболее эффективными, существенно превосходя варианты с частичным охватом слоев и возмущениями только на уровне логитов.

English

Off-policy problems such as policy staleness and training-inference mismatch, has become a major bottleneck for training stability and further exploration for LLM RL. To enhance inference efficiency, the distribution gap between the inference and updated policy grows, leading to heavy-tailed importance ratios. Heavy-tailed ratios arise when the policy is locally sharp, which further inflates sharp gradients and can push updates outside the trust region. To address this, we propose Adaptive Layerwise Perturbation(ALP) by injecting small learnable perturbations into input hidden states of each layer during updates, which is used as the numerator of the importance ratio against the unchanged inference policy in the objective. Intuitively, by adding controlled noise to intermediate representations, ALP prevents the updated policy from deviating too sharply from the inference policy, and enlarges the policy family to cover the inference policy family with mismatch noises. Hence, the flattened distribution can naturally tighten the updated and inference policy gap and reduce the tail of importance ratios, thus maintaining training stability. This is further validated empirically. Experiments on single-turn math and multi-turn tool-integrated reasoning tasks show that ALP not only improves final performance, but also avoid blow up of importance ratio tail and KL spikes during iterative training, along with boosted exploration. Ablations show that representation-level perturbations across all layers are most effective, substantially outperforming partial-layer and logits-only variants.

Адаптивное послойное возмущение: унификация внеполитических коррекций для RL больших языковых моделей

Adaptive Layerwise Perturbation: Unifying Off-Policy Corrections for LLM RL

Аннотация

Support