RePo: Modelos de Linguagem com Reposicionamento Contextual

RePo: Language Models with Context Re-Positioning

December 16, 2025

Autores: Huayang Li, Tianyu Zhao, Richard Sproat

cs.AI

Resumo

A aprendizagem contextual é fundamental para os modernos Modelos de Linguagem de Grande Porte (LLMs); no entanto, as arquiteturas predominantes impõem uma estrutura contextual rígida e fixa ao atribuir índices posicionais lineares ou constantes. Com base na Teoria da Carga Cognitiva (CLT), argumentamos que esta estrutura não informativa aumenta a carga cognitiva extrínseca, consumindo a capacidade finita de memória de trabalho que deveria ser alocada para o raciocínio profundo e a distribuição da atenção. Para resolver isso, propomos o RePo, um novo mecanismo que reduz a carga extrínseca através do reposicionamento do contexto. Diferente das abordagens padrão, o RePo utiliza um módulo diferenciável, f_φ, para atribuir posições aos tokens que capturam dependências contextuais, em vez de depender de um intervalo pré-definido de números inteiros. Ao realizar pré-treinamento contínuo na base OLMo-2 1B, demonstramos que o RePo melhora significativamente o desempenho em tarefas que envolvem contextos ruidosos, dados estruturados e contextos mais longos, mantendo um desempenho competitivo em tarefas gerais de contexto curto. Uma análise detalhada revela que o RePo aloca com sucesso maior atenção a informações distantes mas relevantes, atribui posições em um espaço denso e não linear, e captura a estrutura intrínseca do contexto de entrada. Nosso código está disponível em https://github.com/SakanaAI/repo.

English

In-context learning is fundamental to modern Large Language Models (LLMs); however, prevailing architectures impose a rigid and fixed contextual structure by assigning linear or constant positional indices. Drawing on Cognitive Load Theory (CLT), we argue that this uninformative structure increases extraneous cognitive load, consuming finite working memory capacity that should be allocated to deep reasoning and attention allocation. To address this, we propose RePo, a novel mechanism that reduces extraneous load via context re-positioning. Unlike standard approaches, RePo utilizes a differentiable module, f_φ, to assign token positions that capture contextual dependencies, rather than replying on pre-defined integer range. By continually pre-training on the OLMo-2 1B backbone, we demonstrate that RePo significantly enhances performance on tasks involving noisy contexts, structured data, and longer context length, while maintaining competitive performance on general short-context tasks. Detailed analysis reveals that RePo successfully allocate higher attention to distant but relevant information, assign positions in dense and non-linear space, and capture the intrinsic structure of the input context. Our code is available at https://github.com/SakanaAI/repo.