Cog-DRIFT: Onderzoek naar adaptief geherformuleerde instanties maakt leren van moeilijke redeneerproblemen mogelijk

Cog-DRIFT: Exploration on Adaptively Reformulated Instances Enables Learning from Hard Reasoning Problems

April 6, 2026

Auteurs: Justin Chih-Yao Chen, Archiki Prasad, Zaid Khan, Joykirat Singh, Runchu Tian, Elias Stengel-Eskin, Mohit Bansal

cs.AI

Samenvatting

Reinforcement learning from verifiable rewards (RLVR) heeft het redeneervermogen van LLM's verbeterd, maar een fundamentele beperking blijft bestaan: modellen kunnen niet leren van problemen die te moeilijk zijn om op te lossen onder hun huidige beleid, omdat deze geen zinvol beloningssignaal opleveren. Wij stellen een eenvoudige maar effectieve oplossing voor op basis van taakherformulering. We transformeren uitdagende open-einde problemen naar cognitief eenvoudigere varianten – zoals multiple-choice- en invulformats – die het oorspronkelijke antwoord behouden, terwijl de effectieve zoekruimte wordt verkleind en er dichtere leer signalen worden gegenereerd. Deze herformuleringen beslaan een spectrum van discriminerende tot generatieve taken, wat we benutten om het leren te bootstrappen: modellen leren eerst van gestructureerde, eenvoudigere formats, en deze kennis wordt vervolgens overgedragen om de prestaties op de oorspronkelijke open-einde problemen te verbeteren. Voortbouwend op dit inzicht introduceren we Cog-DRIFT, een raamwerk dat herformuleerde varianten construeert en deze organiseert in een adaptief curriculum op basis van moeilijkheidsgraad. De training vordert van eenvoudigere naar moeilijkere formats, waardoor het model kan leren van problemen die voorheen geen enkel signaal opleverden onder standaard RL post-training. Cog-DRIFT verbetert niet alleen de prestaties op de oorspronkelijk onoplosbare moeilijke problemen (absoluut +10,11% voor Qwen en +8,64% voor Llama), maar generaliseert ook goed naar andere achtergehouden datasets. Over 2 modellen en 6 redeneerbenchmarks heen, presteert onze methode consistent beter dan standaard GRPO en sterke guided-exploration baselines. Gemiddeld laat Cog-DRIFT verbeteringen zien van +4,72% (Qwen) en +3,23% (Llama) ten opzichte van de op één na beste baseline. We tonen verder aan dat Cog-DRIFT pass@k verbetert tijdens testen, en dat het curriculum de steekproefefficiëntie verbetert. Al met al benadrukken onze resultaten taakherformulering en curriculumleren als een effectief paradigma om de verkenbarrière in LLM post-training te overwinnen.

English

Reinforcement learning from verifiable rewards (RLVR) has improved the reasoning abilities of LLMs, yet a fundamental limitation remains: models cannot learn from problems that are too difficult to solve under their current policy, as these yield no meaningful reward signal. We propose a simple yet effective solution based on task reformulation. We transform challenging open-ended problems into cognitively simpler variants -- such as multiple-choice and cloze formats -- that preserve the original answer while reducing the effective search space and providing denser learning signals. These reformulations span a spectrum from discriminative to generative tasks, which we exploit to bootstrap learning: models first learn from structured, easier formats, and this knowledge transfers back to improve performance on the original open-ended problems. Building on this insight, we introduce Cog-DRIFT, a framework that constructs reformulated variants and organizes them into an adaptive curriculum based on difficulty. Training progresses from easier to harder formats, enabling the model to learn from problems that previously yielded zero signal under standard RL post-training. Cog-DRIFT not only improves on the originally unsolvable hard problems (absolute +10.11% for Qwen and +8.64% for Llama) but also generalizes well to other held-out datasets. Across 2 models and 6 reasoning benchmarks, our method consistently outperforms standard GRPO and strong guided-exploration baselines. On average, Cog-DRIFT shows +4.72% (Qwen) and +3.23% (Llama) improvements over the second-best baseline. We further show that Cog-DRIFT improves pass@k at test time, and the curriculum improves sample efficiency. Overall, our results highlight task reformulation and curriculum learning as an effective paradigm for overcoming the exploration barrier in LLM post-training.