RePo: Sprachmodelle mit Kontext-Neuausrichtung
RePo: Language Models with Context Re-Positioning
December 16, 2025
papers.authors: Huayang Li, Tianyu Zhao, Richard Sproat
cs.AI
papers.abstract
Kontextlernen ist grundlegend für moderne Large Language Models (LLMs); jedoch verleihen vorherrschende Architekturen dem Kontext eine starre und feste Struktur, indem sie lineare oder konstante Positionsindizes vergeben. Gestützt auf die Cognitive Load Theory (CLT) argumentieren wir, dass diese nicht-informative Struktur die extrinsische kognitive Belastung erhöht und damit begrenzte Arbeitsgedächtniskapazität beansprucht, die tiefgreifenden Schlussfolgerungen und der Aufmerksamkeitssteuerung vorbehalten sein sollte. Um dies zu adressieren, schlagen wir RePo vor, einen neuartigen Mechanismus, der die extrinsische Belastung durch Kontext-Neupositionierung reduziert. Im Gegensatz zu Standardansätzen nutzt RePo ein differenzierbares Modul, f_φ, um Token-Positionen zu vergeben, die kontextuelle Abhängigkeiten erfassen, anstatt sich auf einen vordefinierten Integer-Bereich zu stützen. Durch kontinuierliches Weiter-Pretraining auf der OLMo-2 1B-Basis zeigen wir, dass RePo die Leistung bei Aufgaben mit verrauschten Kontexten, strukturierten Daten und längeren Kontextlängen signifikant verbessert, während es eine wettbewerbsfähige Performance bei allgemeinen Kurzkontext-Aufgaben beibehält. Detaillierte Analysen zeigen, dass RePo erfolgreich entfernten, aber relevanten Informationen höhere Aufmerksamkeit zuweist, Positionen in einem dichten und nicht-linearen Raum vergibt und die intrinsische Struktur des Eingabekontexts erfasst. Unser Code ist verfügbar unter https://github.com/SakanaAI/repo.
English
In-context learning is fundamental to modern Large Language Models (LLMs); however, prevailing architectures impose a rigid and fixed contextual structure by assigning linear or constant positional indices. Drawing on Cognitive Load Theory (CLT), we argue that this uninformative structure increases extraneous cognitive load, consuming finite working memory capacity that should be allocated to deep reasoning and attention allocation. To address this, we propose RePo, a novel mechanism that reduces extraneous load via context re-positioning. Unlike standard approaches, RePo utilizes a differentiable module, f_φ, to assign token positions that capture contextual dependencies, rather than replying on pre-defined integer range. By continually pre-training on the OLMo-2 1B backbone, we demonstrate that RePo significantly enhances performance on tasks involving noisy contexts, structured data, and longer context length, while maintaining competitive performance on general short-context tasks. Detailed analysis reveals that RePo successfully allocate higher attention to distant but relevant information, assign positions in dense and non-linear space, and capture the intrinsic structure of the input context. Our code is available at https://github.com/SakanaAI/repo.