Het Imitatiespel: Turing Machine Imitator is Lengte Generaliseerbaar Redeneerder

The Imitation Game: Turing Machine Imitator is Length Generalizable Reasoner

July 17, 2025

Auteurs: Zhouqi Hua, Wenwei Zhang, Chengqi Lyu, Yuzhe Gu, Songyang Gao, Kuikun Liu, Kai Chen

cs.AI

Samenvatting

Lengtegeneralizatie, het vermogen om problemen met langere sequenties op te lossen dan die welke tijdens de training zijn waargenomen, vormt een kernuitdaging voor Transformer-gebaseerde grote taalmodellen (LLM's). Hoewel bestaande studies zich voornamelijk hebben gericht op data-gedreven benaderingen voor rekenkundige bewerkingen en symbolische manipulatie taken, zijn deze benaderingen vaak taakspecifiek met beperkte algehele prestaties. Om een meer algemene oplossing na te streven, richt dit artikel zich op een breder geval van redeneerproblemen die berekenbaar zijn, d.w.z. problemen die algoritmen kunnen oplossen en dus kunnen worden opgelost door de Turing Machine. Vanuit dit perspectief stelt dit artikel Turing Machine Imitation Learning (TAIL) voor om de lengtegeneralizatiecapaciteit van LLM's te verbeteren. TAIL synthetiseert chain-of-thoughts (CoT)-data die het uitvoeringsproces van een Turing Machine imiteren door computerprogramma's, waarbij de redeneerstappen lineair worden uitgebreid naar atomische staten om shortcut learning te verminderen en een expliciet geheugenophaalmechanisme om de moeilijkheden van dynamische en langetermijntoegang tot data in elementaire bewerkingen te verminderen. Om de betrouwbaarheid en universaliteit van TAIL te valideren, hebben we een uitdagende synthetische dataset geconstrueerd die 8 klassen van algoritmen en 18 taken omvat. Zonder franje verbetert TAIL de lengtegeneralizatiecapaciteit en de prestaties van Qwen2.5-7B aanzienlijk op verschillende taken met alleen synthetische data, waardoor eerdere methoden en DeepSeek-R1 worden overtroffen. De experimentele resultaten onthullen dat de sleutelconcepten in de Turing Machine, in plaats van de denkstijlen, onmisbaar zijn voor TAIL voor lengtegeneralizatie, waardoor het model lees- en schrijfgedrag vertoont dat consistent is met de eigenschappen van de Turing Machine in hun aandachtslagen. Dit werk biedt een veelbelovende richting voor toekomstig onderzoek naar het leren van LLM-redenering uit synthetische data.

English

Length generalization, the ability to solve problems of longer sequences than those observed during training, poses a core challenge of Transformer-based large language models (LLM). Although existing studies have predominantly focused on data-driven approaches for arithmetic operations and symbolic manipulation tasks, these approaches tend to be task-specific with limited overall performance. To pursue a more general solution, this paper focuses on a broader case of reasoning problems that are computable, i.e., problems that algorithms can solve, thus can be solved by the Turing Machine. From this perspective, this paper proposes Turing MAchine Imitation Learning (TAIL) to improve the length generalization ability of LLMs. TAIL synthesizes chain-of-thoughts (CoT) data that imitate the execution process of a Turing Machine by computer programs, which linearly expands the reasoning steps into atomic states to alleviate shortcut learning and explicit memory fetch mechanism to reduce the difficulties of dynamic and long-range data access in elementary operations. To validate the reliability and universality of TAIL, we construct a challenging synthetic dataset covering 8 classes of algorithms and 18 tasks. Without bells and whistles, TAIL significantly improves the length generalization ability as well as the performance of Qwen2.5-7B on various tasks using only synthetic data, surpassing previous methods and DeepSeek-R1. The experimental results reveal that the key concepts in the Turing Machine, instead of the thinking styles, are indispensable for TAIL for length generalization, through which the model exhibits read-and-write behaviors consistent with the properties of the Turing Machine in their attention layers. This work provides a promising direction for future research in the learning of LLM reasoning from synthetic data.