TTCS: Синтез учебного плана в момент тестирования для саморазвития

TTCS: Test-Time Curriculum Synthesis for Self-Evolving

January 30, 2026

Авторы: Chengyi Yang, Zhishang Xiang, Yunbo Tang, Zongpei Teng, Chengsong Huang, Fei Long, Yuhan Liu, Jinsong Su

cs.AI

Аннотация

Обучение во время тестирования (Test-Time Training) предлагает перспективный способ улучшения способности к рассуждению больших языковых моделей (LLM) путем адаптации модели с использованием только тестовых вопросов. Однако существующие методы сталкиваются с трудностями при решении сложных задач по двум причинам: исходные тестовые вопросы часто слишком сложны для получения высококачественных псевдо-меток, а ограниченный размер тестовых наборов делает непрерывные онлайн-обновления склонными к нестабильности. Для преодоления этих ограничений мы предлагаем TTCS — совместно эволюционирующую структуру обучения во время тестирования. В частности, TTCS инициализирует две стратегии из одной предварительно обученной модели: синтезатор вопросов и решатель задач. Эти стратегии развиваются посредством итеративной оптимизации: синтезатор генерирует постепенно усложняющиеся варианты вопросов на основе тестовых, создавая структурированную учебную программу, адаптированную к текущим возможностям решателя, в то время как решатель обновляет себя, используя вознаграждения за самосогласованность, вычисленные на основе множества sampled-ответов как на оригинальные тестовые, так и на синтетические вопросы. Ключевым моментом является то, что обратная связь от решателя направляет синтезатор на генерацию вопросов, соответствующих текущим возможностям модели, а сгенерированные варианты вопросов, в свою очередь, стабилизируют обучение решателя во время тестирования. Эксперименты показывают, что TTCS последовательно усиливает способность к рассуждению на сложных математических бенчмарках и демонстрирует перенос на задачи из общей области для различных архитектур LLM, что указывает на масштабируемый путь к динамическому построению учебных программ для саморазвития во время тестирования. Наш код и детали реализации доступны по адресу https://github.com/XMUDeepLIT/TTCS.

English

Test-Time Training offers a promising way to improve the reasoning ability of large language models (LLMs) by adapting the model using only the test questions. However, existing methods struggle with difficult reasoning problems for two reasons: raw test questions are often too difficult to yield high-quality pseudo-labels, and the limited size of test sets makes continuous online updates prone to instability. To address these limitations, we propose TTCS, a co-evolving test-time training framework. Specifically, TTCS initializes two policies from the same pretrained model: a question synthesizer and a reasoning solver. These policies evolve through iterative optimization: the synthesizer generates progressively challenging question variants conditioned on the test questions, creating a structured curriculum tailored to the solver's current capability, while the solver updates itself using self-consistency rewards computed from multiple sampled responses on both original test and synthetic questions. Crucially, the solver's feedback guides the synthesizer to generate questions aligned with the model's current capability, and the generated question variants in turn stabilize the solver's test-time training. Experiments show that TTCS consistently strengthens the reasoning ability on challenging mathematical benchmarks and transfers to general-domain tasks across different LLM backbones, highlighting a scalable path towards dynamically constructing test-time curricula for self-evolving. Our code and implementation details are available at https://github.com/XMUDeepLIT/TTCS.