RePo: Taalmodellen met Contextherpositionering

RePo: Language Models with Context Re-Positioning

December 16, 2025

Auteurs: Huayang Li, Tianyu Zhao, Richard Sproat

cs.AI

Samenvatting

In-context leren is fundamenteel voor moderne Large Language Models (LLM's); heersende architecturen leggen echter een rigide en vaste contextuele structuur op door lineaire of constante positionele indices toe te kennen. Voortbordurend op de Cognitive Load Theory (CLT) stellen wij dat deze niet-informatieve structuur de externe cognitieve belasting verhoogt, waardoor beperkte werkgeheugencapaciteit wordt verbruikt die bestemd zou moeten zijn voor diepgaand redeneren en aandachtstoedeling. Om dit aan te pakken, stellen wij RePo voor, een nieuwe mechanisme dat de externe belasting vermindert via contextherpositionering. In tegenstelling tot standaardbenaderingen gebruikt RePo een differentieerbare module, f_φ, om tokenposities toe te kennen die contextuele afhankelijkheden vastleggen, in plaats van te vertrouwen op een vooraf gedefinieerd geheelgetallenbereik. Door continue voorafgaande training op de OLMo-2 1B-backbone tonen wij aan dat RePo de prestaties aanzienlijk verbetert bij taken met ruisrijke contexten, gestructureerde gegevens en langere contextlengtes, terwijl het competitieve prestaties handhaaft bij algemene taken met korte context. Gedetailleerde analyse onthult dat RePo met succes meer aandacht toekent aan verafgelegen maar relevante informatie, posities toewijst in een dichte en niet-lineaire ruimte, en de intrinsieke structuur van de invoercontext vastlegt. Onze code is beschikbaar op https://github.com/SakanaAI/repo.

English

In-context learning is fundamental to modern Large Language Models (LLMs); however, prevailing architectures impose a rigid and fixed contextual structure by assigning linear or constant positional indices. Drawing on Cognitive Load Theory (CLT), we argue that this uninformative structure increases extraneous cognitive load, consuming finite working memory capacity that should be allocated to deep reasoning and attention allocation. To address this, we propose RePo, a novel mechanism that reduces extraneous load via context re-positioning. Unlike standard approaches, RePo utilizes a differentiable module, f_φ, to assign token positions that capture contextual dependencies, rather than replying on pre-defined integer range. By continually pre-training on the OLMo-2 1B backbone, we demonstrate that RePo significantly enhances performance on tasks involving noisy contexts, structured data, and longer context length, while maintaining competitive performance on general short-context tasks. Detailed analysis reveals that RePo successfully allocate higher attention to distant but relevant information, assign positions in dense and non-linear space, and capture the intrinsic structure of the input context. Our code is available at https://github.com/SakanaAI/repo.