TTCS: Sintesi del Curriculum a Tempo di Test per l'Auto-Evoluzione
TTCS: Test-Time Curriculum Synthesis for Self-Evolving
January 30, 2026
Autori: Chengyi Yang, Zhishang Xiang, Yunbo Tang, Zongpei Teng, Chengsong Huang, Fei Long, Yuhan Liu, Jinsong Su
cs.AI
Abstract
Il Test-Time Training offre un approccio promettente per migliorare le capacità di ragionamento dei grandi modelli linguistici (LLM) adattando il modello utilizzando esclusivamente le domande di test. Tuttavia, i metodi esistenti incontrano difficoltà con problemi di ragionamento complessi per due ragioni principali: le domande di test grezze sono spesso troppo difficili per produrre pseudo-etichette di alta qualità, e la dimensione limitata degli insiemi di test rende gli aggiornamenti online continui soggetti a instabilità. Per superare queste limitazioni, proponiamo TTCS, un framework di test-time training a co-evoluzione. Nello specifico, TTCS inizializza due politiche a partire dallo stesso modello preaddestrato: un sintetizzatore di domande e un risolutore di ragionamenti. Queste politiche evolvono attraverso un'ottimizzazione iterativa: il sintetizzatore genera varianti di domande progressivamente più complesse condizionate dalle domande di test, creando un curriculum strutturato su misura per le capacità attuali del risolutore, mentre il risolutore si aggiorna utilizzando ricompense di auto-consistenza calcolate da risposte campionate multiple su domande di test originali e sintetiche. Fondamentalmente, il feedback del risolutore guida il sintetizzatore a generare domande allineate con le capacità attuali del modello, e le varianti di domande generate a loro volta stabilizzano l'addestramento del risolutore durante il test. Gli esperimenti dimostrano che TTCS potenzia consistentemente le capacità di ragionamento su benchmark matematici complessi e si trasferisce a compiti di dominio generale attraverso diversi backbone di LLM, evidenziando un percorso scalabile verso la costruzione dinamica di curriculum di test-time per l'auto-evoluzione. Il nostro codice e i dettagli implementativi sono disponibili su https://github.com/XMUDeepLIT/TTCS.
English
Test-Time Training offers a promising way to improve the reasoning ability of large language models (LLMs) by adapting the model using only the test questions. However, existing methods struggle with difficult reasoning problems for two reasons: raw test questions are often too difficult to yield high-quality pseudo-labels, and the limited size of test sets makes continuous online updates prone to instability. To address these limitations, we propose TTCS, a co-evolving test-time training framework. Specifically, TTCS initializes two policies from the same pretrained model: a question synthesizer and a reasoning solver. These policies evolve through iterative optimization: the synthesizer generates progressively challenging question variants conditioned on the test questions, creating a structured curriculum tailored to the solver's current capability, while the solver updates itself using self-consistency rewards computed from multiple sampled responses on both original test and synthetic questions. Crucially, the solver's feedback guides the synthesizer to generate questions aligned with the model's current capability, and the generated question variants in turn stabilize the solver's test-time training. Experiments show that TTCS consistently strengthens the reasoning ability on challenging mathematical benchmarks and transfers to general-domain tasks across different LLM backbones, highlighting a scalable path towards dynamically constructing test-time curricula for self-evolving. Our code and implementation details are available at https://github.com/XMUDeepLIT/TTCS.