記憶を超えて:再帰性、メモリ、およびテスト時計算スケーリングによる推論深度の拡張
Beyond Memorization: Extending Reasoning Depth with Recurrence, Memory and Test-Time Compute Scaling
August 22, 2025
著者: Ivan Rodkin, Daniil Orel, Konstantin Smirnov, Arman Bolatov, Bilal Elbouardi, Besher Hassan, Yuri Kuratov, Aydar Bulatov, Preslav Nakov, Timothy Baldwin, Artem Shelmanov, Mikhail Burtsev
cs.AI
要旨
推論は大規模言語モデルの核心的な能力であるが、それらがどのように学習し、多段階の推論を実行するかについては未解明の問題である。本研究では、セルオートマトンの枠組みにおいて、異なるアーキテクチャと訓練方法がモデルの多段階推論能力に及ぼす影響を探る。ランダムな初期条件に対してランダムなブール関数で生成された状態系列を訓練データとし、記憶を排除することで、ほとんどのニューラルアーキテクチャが基礎となるルールを抽象化することを示す。モデルは次の状態予測において高い精度を達成するが、多段階の推論が必要な場合、その性能は急激に低下する。モデルの深さを増やすことが逐次計算において重要な役割を果たすことを確認する。さらに、再帰性、メモリ、テスト時の計算スケーリングによる有効モデル深さの拡張が、推論能力を大幅に向上させることを実証する。
English
Reasoning is a core capability of large language models, yet understanding
how they learn and perform multi-step reasoning remains an open problem. In
this study, we explore how different architectures and training methods affect
model multi-step reasoning capabilities within a cellular automata framework.
By training on state sequences generated with random Boolean functions for
random initial conditions to exclude memorization, we demonstrate that most
neural architectures learn to abstract the underlying rules. While models
achieve high accuracy in next-state prediction, their performance declines
sharply if multi-step reasoning is required. We confirm that increasing model
depth plays a crucial role for sequential computations. We demonstrate that an
extension of the effective model depth with recurrence, memory, and test-time
compute scaling substantially enhances reasoning capabilities.