LongAct: Использование внутренних паттернов активации для обучения с подкреплением в длинных контекстах

LongAct: Harnessing Intrinsic Activation Patterns for Long-Context Reinforcement Learning

April 16, 2026

Авторы: Bowen Ping, Zijun Chen, Tingfeng Hui, Qize Yu, Chenxuan Li, Junchi Yan, Baobao Chang

cs.AI

Аннотация

Поводящее обучение (ПО) стало ключевым инструментом для расширения способностей к рассуждению у больших языковых моделей (БЯМ). В то время как последние достижения были сосредоточены на разработке функций вознаграждения или синтезе данных, лишь немногие исследования используют внутренние репрезентационные характеристики модели для управления процессом обучения. В данной статье мы сначала наблюдаем наличие активаций с высокой амплитудой в векторах запросов и ключей при обработке длинных контекстов. Опираясь на идеи из квантования моделей — которое устанавливает важность подобных активаций с высокой амплитудой — и на инсайт о том, что рассуждение в длинных контекстах по своей природе обладает разреженной структурой, мы выдвигаем гипотезу, что эти веса являются ключевыми драйверами для эффективной оптимизации модели. Основываясь на этом наблюдении, мы предлагаем LongAct — стратегию, которая переходит от равномерных к ориентированным на значимость разреженным обновлениям. Избирательно обновляя только веса, связанные с этими значимыми активациями, LongAct достигает приблизительно 8% улучшения на LongBench v2 и повышает способность к обобщению на бенчмарке RULER. Более того, наш метод демонстрирует замечательную универсальность, стабильно повышая производительность на различных алгоритмах ПО, таких как GRPO и DAPO. Обширные ablation-исследования показывают, что фокусировка на этих значимых признаках является ключом к раскрытию потенциала работы с длинными контекстами.

English

Reinforcement Learning (RL) has emerged as a critical driver for enhancing the reasoning capabilities of Large Language Models (LLMs). While recent advancements have focused on reward engineering or data synthesis, few studies exploit the model's intrinsic representation characteristics to guide the training process. In this paper, we first observe the presence of high-magnitude activations within the query and key vectors when processing long contexts. Drawing inspiration from model quantization -- which establishes the criticality of such high-magnitude activations -- and the insight that long-context reasoning inherently exhibits a sparse structure, we hypothesize that these weights serve as the pivotal drivers for effective model optimization. Based on this insight, we propose LongAct, a strategy that shifts from uniform to saliency-guided sparse updates. By selectively updating only the weights associated with these significant activations, LongAct achieves an approximate 8% improvement on LongBench v2 and enhances generalization on the RULER benchmark. Furthermore, our method exhibits remarkable universality, consistently boosting performance across diverse RL algorithms such as GRPO and DAPO. Extensive ablation studies suggest that focusing on these salient features is key to unlocking long-context potential.