RePo: Modelli Linguistici con Ricollocazione Contestuale

RePo: Language Models with Context Re-Positioning

December 16, 2025

Autori: Huayang Li, Tianyu Zhao, Richard Sproat

cs.AI

Abstract

L'apprendimento in contesto è fondamentale per i moderni Large Language Model (LLM); tuttavia, le architetture prevalenti impongono una struttura contestuale rigida e fissa assegnando indici posizionali lineari o costanti. Basandoci sulla Teoria del Carico Cognitivo (CLT), sosteniamo che questa struttura non informativa aumenti il carico cognitivo estraneo, consumando la limitata capacità di memoria di lavoro che dovrebbe essere allocata per il ragionamento profondo e l'assegnazione dell'attenzione. Per affrontare questo problema, proponiamo RePo, un nuovo meccanismo che riduce il carico estraneo tramite il riposizionamento del contesto. A differenza degli approcci standard, RePo utilizza un modulo differenziabile, f_φ, per assegnare posizioni ai token che catturano le dipendenze contestuali, anziché basarsi su un intervallo predefinito di numeri interi. Mediante un pre-addestramento continuo sul backbone OLMo-2 1B, dimostriamo che RePo migliora significativamente le prestazioni in compiti che coinvolgono contesti rumorosi, dati strutturati e lunghezze contestuali maggiori, mantenendo al contempo prestazioni competitive in compiti generali con contesto breve. Un'analisi dettagliata rivela che RePo assegna con successo un'attenzione maggiore a informazioni distanti ma rilevanti, assegna posizioni in uno spazio denso e non lineare e cattura la struttura intrinseca del contesto di input. Il nostro codice è disponibile all'indirizzo https://github.com/SakanaAI/repo.

English

In-context learning is fundamental to modern Large Language Models (LLMs); however, prevailing architectures impose a rigid and fixed contextual structure by assigning linear or constant positional indices. Drawing on Cognitive Load Theory (CLT), we argue that this uninformative structure increases extraneous cognitive load, consuming finite working memory capacity that should be allocated to deep reasoning and attention allocation. To address this, we propose RePo, a novel mechanism that reduces extraneous load via context re-positioning. Unlike standard approaches, RePo utilizes a differentiable module, f_φ, to assign token positions that capture contextual dependencies, rather than replying on pre-defined integer range. By continually pre-training on the OLMo-2 1B backbone, we demonstrate that RePo significantly enhances performance on tasks involving noisy contexts, structured data, and longer context length, while maintaining competitive performance on general short-context tasks. Detailed analysis reveals that RePo successfully allocate higher attention to distant but relevant information, assign positions in dense and non-linear space, and capture the intrinsic structure of the input context. Our code is available at https://github.com/SakanaAI/repo.