Cog-DRIFT: Исследование адаптивно преобразованных примеров позволяет обучаться на сложных логических задачах

Cog-DRIFT: Exploration on Adaptively Reformulated Instances Enables Learning from Hard Reasoning Problems

April 6, 2026

Авторы: Justin Chih-Yao Chen, Archiki Prasad, Zaid Khan, Joykirat Singh, Runchu Tian, Elias Stengel-Eskin, Mohit Bansal

cs.AI

Аннотация

Обучение с подкреплением на основе проверяемых вознаграждений (RLVR) улучшило способности языковых моделей к рассуждению, однако фундаментальное ограничение сохраняется: модели не могут обучаться на задачах, которые слишком сложны для решения в рамках их текущей политики, поскольку такие задачи не дают значимого сигнала вознаграждения. Мы предлагаем простое, но эффективное решение, основанное на реформулировке задач. Мы преобразуем сложные открытые задачи в когнитивно более простые варианты — такие как задания с множественным выбором и на заполнение пропусков, — которые сохраняют исходный ответ, но сокращают эффективное пространство поиска и обеспечивают более плотные обучающие сигналы. Эти реформулировки охватывают спектр от дискриминативных к генеративным задачам, что мы используем для начальной загрузки обучения: модели сначала обучаются на структурированных, более простых форматах, и эти знания переносятся обратно для улучшения производительности на исходных открытых задачах. Основываясь на этом наблюдении, мы представляем Cog-DRIFT — фреймворк, который создает реформулированные варианты и организует их в адаптивный учебный план на основе сложности. Обучение прогрессирует от более простых к более сложным форматам, позволяя модели обучаться на задачах, которые ранее давали нулевой сигнал при стандартном пост-обучении с подкреплением. Cog-DRIFT не только улучшает результаты по изначально нерешаемым сложным задачам (абсолютное улучшение +10,11% для Qwen и +8,64% для Llama), но и хорошо обобщается на другие отложенные наборы данных. На двух моделях и шести тестах на рассуждение наш метод стабильно превосходит стандартный GRPO и сильные базовые методы с управляемым исследованием. В среднем Cog-DRIFT демонстрирует улучшение на +4,72% (Qwen) и +3,23% (Llama) по сравнению со вторым лучшим базовым методом. Мы также показываем, что Cog-DRIFT улучшает pass@k во время тестирования, а учебный план повышает эффективность использования данных. В целом, наши результаты подчеркивают, что реформулировка задач и обучение по учебному плану являются эффективной парадигмой для преодоления барьера исследования при пост-обучении языковых моделей.

English

Reinforcement learning from verifiable rewards (RLVR) has improved the reasoning abilities of LLMs, yet a fundamental limitation remains: models cannot learn from problems that are too difficult to solve under their current policy, as these yield no meaningful reward signal. We propose a simple yet effective solution based on task reformulation. We transform challenging open-ended problems into cognitively simpler variants -- such as multiple-choice and cloze formats -- that preserve the original answer while reducing the effective search space and providing denser learning signals. These reformulations span a spectrum from discriminative to generative tasks, which we exploit to bootstrap learning: models first learn from structured, easier formats, and this knowledge transfers back to improve performance on the original open-ended problems. Building on this insight, we introduce Cog-DRIFT, a framework that constructs reformulated variants and organizes them into an adaptive curriculum based on difficulty. Training progresses from easier to harder formats, enabling the model to learn from problems that previously yielded zero signal under standard RL post-training. Cog-DRIFT not only improves on the originally unsolvable hard problems (absolute +10.11% for Qwen and +8.64% for Llama) but also generalizes well to other held-out datasets. Across 2 models and 6 reasoning benchmarks, our method consistently outperforms standard GRPO and strong guided-exploration baselines. On average, Cog-DRIFT shows +4.72% (Qwen) and +3.23% (Llama) improvements over the second-best baseline. We further show that Cog-DRIFT improves pass@k at test time, and the curriculum improves sample efficiency. Overall, our results highlight task reformulation and curriculum learning as an effective paradigm for overcoming the exploration barrier in LLM post-training.