Cog-DRIFT: L'esplorazione di istanze riformulate in modo adattivo consente l'apprendimento da problemi di ragionamento complessi

Cog-DRIFT: Exploration on Adaptively Reformulated Instances Enables Learning from Hard Reasoning Problems

April 6, 2026

Autori: Justin Chih-Yao Chen, Archiki Prasad, Zaid Khan, Joykirat Singh, Runchu Tian, Elias Stengel-Eskin, Mohit Bansal

cs.AI

Abstract

L'apprendimento per rinforzo da ricompense verificabili (RLVR) ha migliorato le capacità di ragionamento dei LLM, ma rimane una limitazione fondamentale: i modelli non possono apprendere da problemi troppo difficili da risolvere con la loro politica corrente, poiché questi non forniscono alcun segnale di ricompensa significativo. Proponiamo una soluzione semplice ma efficace basata sulla riformulazione del compito. Trasformiamo problemi complessi a risposta aperta in varianti cognitive più semplici – come formati a scelta multipla e cloze – che preservano la risposta originale riducendo lo spazio di ricerca effettivo e fornendo segnali di apprendimento più densi. Queste riformulazioni coprono uno spettro che va da compiti discriminativi a generativi, che sfruttiamo per avviare l'apprendimento: i modelli apprendono prima da formati strutturati e più facili, e questa conoscenza si trasferisce per migliorare le prestazioni sui problemi aperti originali. Sulla base di questa intuizione, introduciamo Cog-DRIFT, un framework che costruisce varianti riformulate e le organizza in un curriculum adattivo basato sulla difficoltà. L'addestramento procede da formati più facili a più difficili, consentendo al modello di apprendere da problemi che in precedenza fornivano segnale zero sotto il post-addestramento RL standard. Cog-DRIFT non solo migliora sui problemi difficili originariamente irrisolvibili (+10.11% assoluto per Qwen e +8.64% per Llama) ma generalizza bene anche su altri dataset tenuti da parte. Attraverso 2 modelli e 6 benchmark di ragionamento, il nostro metodo supera costantemente il GRPO standard e baseline forti di esplorazione guidata. In media, Cog-DRIFT mostra miglioramenti del +4.72% (Qwen) e del +3.23% (Llama) rispetto alla seconda migliore baseline. Mostriamo inoltre che Cog-DRIFT migliora la pass@k al momento del test e che il curriculum migliora l'efficienza campionaria. Nel complesso, i nostri risultati evidenziano la riformulazione del compito e l'apprendimento per curriculum come un paradigma efficace per superare la barriera esplorativa nel post-addestramento dei LLM.

English

Reinforcement learning from verifiable rewards (RLVR) has improved the reasoning abilities of LLMs, yet a fundamental limitation remains: models cannot learn from problems that are too difficult to solve under their current policy, as these yield no meaningful reward signal. We propose a simple yet effective solution based on task reformulation. We transform challenging open-ended problems into cognitively simpler variants -- such as multiple-choice and cloze formats -- that preserve the original answer while reducing the effective search space and providing denser learning signals. These reformulations span a spectrum from discriminative to generative tasks, which we exploit to bootstrap learning: models first learn from structured, easier formats, and this knowledge transfers back to improve performance on the original open-ended problems. Building on this insight, we introduce Cog-DRIFT, a framework that constructs reformulated variants and organizes them into an adaptive curriculum based on difficulty. Training progresses from easier to harder formats, enabling the model to learn from problems that previously yielded zero signal under standard RL post-training. Cog-DRIFT not only improves on the originally unsolvable hard problems (absolute +10.11% for Qwen and +8.64% for Llama) but also generalizes well to other held-out datasets. Across 2 models and 6 reasoning benchmarks, our method consistently outperforms standard GRPO and strong guided-exploration baselines. On average, Cog-DRIFT shows +4.72% (Qwen) and +3.23% (Llama) improvements over the second-best baseline. We further show that Cog-DRIFT improves pass@k at test time, and the curriculum improves sample efficiency. Overall, our results highlight task reformulation and curriculum learning as an effective paradigm for overcoming the exploration barrier in LLM post-training.