Au-delà de la mémorisation : Étendre la profondeur de raisonnement par récurrence, mémoire et mise à l'échelle du calcul au moment du test

Beyond Memorization: Extending Reasoning Depth with Recurrence, Memory and Test-Time Compute Scaling

August 22, 2025

papers.authors: Ivan Rodkin, Daniil Orel, Konstantin Smirnov, Arman Bolatov, Bilal Elbouardi, Besher Hassan, Yuri Kuratov, Aydar Bulatov, Preslav Nakov, Timothy Baldwin, Artem Shelmanov, Mikhail Burtsev

cs.AI

papers.abstract

Le raisonnement est une capacité fondamentale des grands modèles de langage, mais comprendre comment ils apprennent et effectuent des raisonnements multi-étapes reste un problème ouvert. Dans cette étude, nous explorons comment différentes architectures et méthodes d'entraînement affectent les capacités de raisonnement multi-étapes des modèles dans un cadre de systèmes cellulaires automates. En entraînant les modèles sur des séquences d'états générées avec des fonctions booléennes aléatoires pour des conditions initiales aléatoires, afin d'exclure la mémorisation, nous démontrons que la plupart des architectures neuronales apprennent à abstraire les règles sous-jacentes. Bien que les modèles atteignent une grande précision dans la prédiction de l'état suivant, leurs performances déclinent fortement si un raisonnement multi-étapes est requis. Nous confirmons que l'augmentation de la profondeur du modèle joue un rôle crucial pour les calculs séquentiels. Nous démontrons qu'une extension de la profondeur effective du modèle avec la récurrence, la mémoire et la mise à l'échelle des calculs au moment du test améliore considérablement les capacités de raisonnement.

English

Reasoning is a core capability of large language models, yet understanding how they learn and perform multi-step reasoning remains an open problem. In this study, we explore how different architectures and training methods affect model multi-step reasoning capabilities within a cellular automata framework. By training on state sequences generated with random Boolean functions for random initial conditions to exclude memorization, we demonstrate that most neural architectures learn to abstract the underlying rules. While models achieve high accuracy in next-state prediction, their performance declines sharply if multi-step reasoning is required. We confirm that increasing model depth plays a crucial role for sequential computations. We demonstrate that an extension of the effective model depth with recurrence, memory, and test-time compute scaling substantially enhances reasoning capabilities.