TTCS: Síntese de Currículo em Tempo de Teste para Auto-Evolução
TTCS: Test-Time Curriculum Synthesis for Self-Evolving
January 30, 2026
Autores: Chengyi Yang, Zhishang Xiang, Yunbo Tang, Zongpei Teng, Chengsong Huang, Fei Long, Yuhan Liu, Jinsong Su
cs.AI
Resumo
O Treino em Tempo de Teste (Test-Time Training) oferece uma forma promissora de melhorar a capacidade de raciocínio de modelos de linguagem grandes (LLMs) ao adaptar o modelo usando apenas as questões de teste. No entanto, os métodos existentes lutam com problemas de raciocínio difíceis por duas razões: as questões de teste brutas são frequentemente demasiado difíceis para produzir pseudo-rótulos de alta qualidade, e o tamanho limitado dos conjuntos de teste torna as atualizações online contínuas propensas a instabilidade. Para superar estas limitações, propomos o TTCS, uma estrutura de treino em tempo de teste de co-evolução. Especificamente, o TTCS inicializa duas políticas a partir do mesmo modelo pré-treinado: um sintetizador de questões e um resolvedor de raciocínio. Estas políticas evoluem através de uma otimização iterativa: o sintetizador gera variantes de questões progressivamente mais desafiadoras, condicionadas pelas questões de teste, criando um currículo estruturado adaptado à capacidade atual do resolvedor, enquanto o resolvedor se atualiza usando recompensas de auto-consistência calculadas a partir de múltiplas respostas amostradas tanto nas questões de teste originais como nas questões sintéticas. Crucialmente, o *feedback* do resolvedor guia o sintetizador para gerar questões alinhadas com a capacidade atual do modelo, e as variantes de questões geradas, por sua vez, estabilizam o treino em tempo de teste do resolvedor. Experiências mostram que o TTCS fortalece consistentemente a capacidade de raciocínio em *benchmarks* matemáticos desafiadores e transfere-se para tarefas de domínio geral através de diferentes arquiteturas de LLM, destacando um caminho escalável para a construção dinâmica de currículos em tempo de teste para auto-evolução. O nosso código e detalhes de implementação estão disponíveis em https://github.com/XMUDeepLIT/TTCS.
English
Test-Time Training offers a promising way to improve the reasoning ability of large language models (LLMs) by adapting the model using only the test questions. However, existing methods struggle with difficult reasoning problems for two reasons: raw test questions are often too difficult to yield high-quality pseudo-labels, and the limited size of test sets makes continuous online updates prone to instability. To address these limitations, we propose TTCS, a co-evolving test-time training framework. Specifically, TTCS initializes two policies from the same pretrained model: a question synthesizer and a reasoning solver. These policies evolve through iterative optimization: the synthesizer generates progressively challenging question variants conditioned on the test questions, creating a structured curriculum tailored to the solver's current capability, while the solver updates itself using self-consistency rewards computed from multiple sampled responses on both original test and synthetic questions. Crucially, the solver's feedback guides the synthesizer to generate questions aligned with the model's current capability, and the generated question variants in turn stabilize the solver's test-time training. Experiments show that TTCS consistently strengthens the reasoning ability on challenging mathematical benchmarks and transfers to general-domain tasks across different LLM backbones, highlighting a scalable path towards dynamically constructing test-time curricula for self-evolving. Our code and implementation details are available at https://github.com/XMUDeepLIT/TTCS.