LongAct : Exploiter les motifs d'activation intrinsèques pour l'apprentissage par renforcement en contexte long

LongAct: Harnessing Intrinsic Activation Patterns for Long-Context Reinforcement Learning

April 16, 2026

Auteurs: Bowen Ping, Zijun Chen, Tingfeng Hui, Qize Yu, Chenxuan Li, Junchi Yan, Baobao Chang

cs.AI

Résumé

L'apprentissage par renforcement (RL) est devenu un moteur essentiel pour améliorer les capacités de raisonnement des grands modèles de langage (LLM). Si les avancées récentes se sont concentrées sur l'ingénierie des récompenses ou la synthèse de données, peu d'études exploitent les caractéristiques représentationnelles intrinsèques du modèle pour guider le processus d'entraînement. Dans cet article, nous observons d'abord la présence d'activations de grande magnitude dans les vecteurs de requête et de clé lors du traitement de contextes longs. Nous nous inspirons de la quantification des modèles – qui établit l'importance critique de ces activations de forte magnitude – et de l'idée que le raisonnement en contexte long présente intrinsèquement une structure sparse. Nous émettons l'hypothèse que ces poids agissent comme des moteurs pivotaux pour une optimisation efficace du modèle. Sur cette base, nous proposons LongAct, une stratégie qui passe de mises à jour uniformes à des mises à jour sparses guidées par la saillance. En mettant à jour sélectivement uniquement les poids associés à ces activations significatives, LongAct obtient une amélioration d'environ 8 % sur LongBench v2 et améliore la généralisation sur le benchmark RULER. De plus, notre méthode présente une universalité remarquable, améliorant constamment les performances sur divers algorithmes de RL tels que GRPO et DAPO. Des études d'ablation approfondies suggèrent que se concentrer sur ces caractéristiques saillantes est la clé pour libérer le potentiel des contextes longs.

English

Reinforcement Learning (RL) has emerged as a critical driver for enhancing the reasoning capabilities of Large Language Models (LLMs). While recent advancements have focused on reward engineering or data synthesis, few studies exploit the model's intrinsic representation characteristics to guide the training process. In this paper, we first observe the presence of high-magnitude activations within the query and key vectors when processing long contexts. Drawing inspiration from model quantization -- which establishes the criticality of such high-magnitude activations -- and the insight that long-context reasoning inherently exhibits a sparse structure, we hypothesize that these weights serve as the pivotal drivers for effective model optimization. Based on this insight, we propose LongAct, a strategy that shifts from uniform to saliency-guided sparse updates. By selectively updating only the weights associated with these significant activations, LongAct achieves an approximate 8% improvement on LongBench v2 and enhances generalization on the RULER benchmark. Furthermore, our method exhibits remarkable universality, consistently boosting performance across diverse RL algorithms such as GRPO and DAPO. Extensive ablation studies suggest that focusing on these salient features is key to unlocking long-context potential.