Il Gioco dell'Imitazione: L'Imitatore della Macchina di Turing è Generalizzabile in Lunghezza Ragionatore

The Imitation Game: Turing Machine Imitator is Length Generalizable Reasoner

July 17, 2025

Autori: Zhouqi Hua, Wenwei Zhang, Chengqi Lyu, Yuzhe Gu, Songyang Gao, Kuikun Liu, Kai Chen

cs.AI

Abstract

La generalizzazione della lunghezza, ovvero la capacità di risolvere problemi con sequenze più lunghe rispetto a quelle osservate durante l'addestramento, rappresenta una sfida fondamentale per i modelli linguistici di grandi dimensioni (LLM) basati su Transformer. Sebbene gli studi esistenti si siano concentrati principalmente su approcci basati sui dati per operazioni aritmetiche e compiti di manipolazione simbolica, questi approcci tendono a essere specifici per il compito con prestazioni complessive limitate. Per perseguire una soluzione più generale, questo articolo si concentra su un caso più ampio di problemi di ragionamento che sono computabili, ovvero problemi che possono essere risolti da algoritmi e, quindi, dalla Macchina di Turing. Da questa prospettiva, questo articolo propone il Turing MAchine Imitation Learning (TAIL) per migliorare la capacità di generalizzazione della lunghezza degli LLM. TAIL sintetizza dati di catena di pensieri (CoT) che imitano il processo di esecuzione di una Macchina di Turing attraverso programmi informatici, espandendo linearmente i passaggi di ragionamento in stati atomici per alleviare l'apprendimento di scorciatoie e un meccanismo esplicito di recupero della memoria per ridurre le difficoltà di accesso dinamico e a lungo raggio ai dati nelle operazioni elementari. Per validare l'affidabilità e l'universalità di TAIL, abbiamo costruito un dataset sintetico impegnativo che copre 8 classi di algoritmi e 18 compiti. Senza fronzoli, TAIL migliora significativamente la capacità di generalizzazione della lunghezza e le prestazioni di Qwen2.5-7B su vari compiti utilizzando solo dati sintetici, superando i metodi precedenti e DeepSeek-R1. I risultati sperimentali rivelano che i concetti chiave della Macchina di Turing, piuttosto che gli stili di pensiero, sono indispensabili per TAIL per la generalizzazione della lunghezza, attraverso i quali il modello mostra comportamenti di lettura e scrittura coerenti con le proprietà della Macchina di Turing nei loro strati di attenzione. Questo lavoro fornisce una direzione promettente per la ricerca futura sull'apprendimento del ragionamento degli LLM da dati sintetici.

English

Length generalization, the ability to solve problems of longer sequences than those observed during training, poses a core challenge of Transformer-based large language models (LLM). Although existing studies have predominantly focused on data-driven approaches for arithmetic operations and symbolic manipulation tasks, these approaches tend to be task-specific with limited overall performance. To pursue a more general solution, this paper focuses on a broader case of reasoning problems that are computable, i.e., problems that algorithms can solve, thus can be solved by the Turing Machine. From this perspective, this paper proposes Turing MAchine Imitation Learning (TAIL) to improve the length generalization ability of LLMs. TAIL synthesizes chain-of-thoughts (CoT) data that imitate the execution process of a Turing Machine by computer programs, which linearly expands the reasoning steps into atomic states to alleviate shortcut learning and explicit memory fetch mechanism to reduce the difficulties of dynamic and long-range data access in elementary operations. To validate the reliability and universality of TAIL, we construct a challenging synthetic dataset covering 8 classes of algorithms and 18 tasks. Without bells and whistles, TAIL significantly improves the length generalization ability as well as the performance of Qwen2.5-7B on various tasks using only synthetic data, surpassing previous methods and DeepSeek-R1. The experimental results reveal that the key concepts in the Turing Machine, instead of the thinking styles, are indispensable for TAIL for length generalization, through which the model exhibits read-and-write behaviors consistent with the properties of the Turing Machine in their attention layers. This work provides a promising direction for future research in the learning of LLM reasoning from synthetic data.