Além da Memorização: Expandindo a Profundidade do Raciocínio com Recorrência, Memória e Escalonamento de Computação em Tempo de Teste

Beyond Memorization: Extending Reasoning Depth with Recurrence, Memory and Test-Time Compute Scaling

August 22, 2025

Autores: Ivan Rodkin, Daniil Orel, Konstantin Smirnov, Arman Bolatov, Bilal Elbouardi, Besher Hassan, Yuri Kuratov, Aydar Bulatov, Preslav Nakov, Timothy Baldwin, Artem Shelmanov, Mikhail Burtsev

cs.AI

Resumo

O raciocínio é uma capacidade fundamental dos grandes modelos de linguagem, mas compreender como eles aprendem e realizam raciocínios de múltiplos passos continua sendo um problema em aberto. Neste estudo, exploramos como diferentes arquiteturas e métodos de treinamento afetam as capacidades de raciocínio de múltiplos passos dos modelos dentro de um framework de autômatos celulares. Ao treinar em sequências de estados geradas com funções booleanas aleatórias para condições iniciais aleatórias, para excluir a memorização, demonstramos que a maioria das arquiteturas neurais aprende a abstrair as regras subjacentes. Embora os modelos atinjam alta precisão na previsão do próximo estado, seu desempenho cai drasticamente se o raciocínio de múltiplos passos for necessário. Confirmamos que o aumento da profundidade do modelo desempenha um papel crucial para cálculos sequenciais. Demonstramos que uma extensão da profundidade efetiva do modelo com recorrência, memória e escalonamento de computação em tempo de teste melhora substancialmente as capacidades de raciocínio.

English

Reasoning is a core capability of large language models, yet understanding how they learn and perform multi-step reasoning remains an open problem. In this study, we explore how different architectures and training methods affect model multi-step reasoning capabilities within a cellular automata framework. By training on state sequences generated with random Boolean functions for random initial conditions to exclude memorization, we demonstrate that most neural architectures learn to abstract the underlying rules. While models achieve high accuracy in next-state prediction, their performance declines sharply if multi-step reasoning is required. We confirm that increasing model depth plays a crucial role for sequential computations. We demonstrate that an extension of the effective model depth with recurrence, memory, and test-time compute scaling substantially enhances reasoning capabilities.