Cog-DRIFT : L'exploration d'instances reformulées de manière adaptative permet l'apprentissage à partir de problèmes de raisonnement difficiles

Cog-DRIFT: Exploration on Adaptively Reformulated Instances Enables Learning from Hard Reasoning Problems

April 6, 2026

Auteurs: Justin Chih-Yao Chen, Archiki Prasad, Zaid Khan, Joykirat Singh, Runchu Tian, Elias Stengel-Eskin, Mohit Bansal

cs.AI

Résumé

L'apprentissage par renforcement à partir de récompenses vérifiables (RLVR) a amélioré les capacités de raisonnement des LLM, mais une limitation fondamentale persiste : les modèles ne peuvent pas apprendre à partir de problèmes trop difficiles à résoudre avec leur politique actuelle, car ceux-ci ne génèrent aucun signal de récompense significatif. Nous proposons une solution simple mais efficace basée sur la reformulation des tâches. Nous transformons les problèmes ouverts difficiles en des variantes cognitivement plus simples – telles que les formats à choix multiples et à trous – qui préservent la réponse originale tout en réduisant l'espace de recherche effectif et en fournissant des signaux d'apprentissage plus denses. Ces reformulations couvrent un spectre allant des tâches discriminatives aux tâches génératives, que nous exploitons pour amorcer l'apprentissage : les modèles apprennent d'abord à partir de formats structurés et plus faciles, et ces connaissances se transfèrent ensuite pour améliorer les performances sur les problèmes ouverts originaux. Forts de cette idée, nous introduisons Cog-DRIFT, un cadre qui construit des variantes reformulées et les organise en un curriculum adaptatif basé sur la difficulté. L'entraînement progresse des formats plus faciles vers les plus difficiles, permettant au modèle d'apprendre à partir de problèmes qui auparavant ne généraient aucun signal sous l'apprentissage par renforcement post-entraînement standard. Cog-DRIFT amène non seulement une amélioration sur les problèmes difficiles initialement insolubles (absolue +10,11 % pour Qwen et +8,64 % pour Llama) mais généralise également bien à d'autres jeux de données de test. Sur 2 modèles et 6 benchmarks de raisonnement, notre méthode surpasse constamment le GRPO standard et des bases de référence solides en exploration guidée. En moyenne, Cog-DRIFT montre des améliorations de +4,72 % (Qwen) et +3,23 % (Llama) par rapport à la deuxième meilleure base de référence. Nous montrons en outre que Cog-DRIFT améliore le pass@k au moment du test, et que le curriculum améliore l'efficacité de l'échantillonnage. Globalement, nos résultats soulignent la reformulation de tâches et l'apprentissage curriculum comme un paradigme efficace pour surmonter la barrière de l'exploration dans le post-entraînement des LLM.

English

Reinforcement learning from verifiable rewards (RLVR) has improved the reasoning abilities of LLMs, yet a fundamental limitation remains: models cannot learn from problems that are too difficult to solve under their current policy, as these yield no meaningful reward signal. We propose a simple yet effective solution based on task reformulation. We transform challenging open-ended problems into cognitively simpler variants -- such as multiple-choice and cloze formats -- that preserve the original answer while reducing the effective search space and providing denser learning signals. These reformulations span a spectrum from discriminative to generative tasks, which we exploit to bootstrap learning: models first learn from structured, easier formats, and this knowledge transfers back to improve performance on the original open-ended problems. Building on this insight, we introduce Cog-DRIFT, a framework that constructs reformulated variants and organizes them into an adaptive curriculum based on difficulty. Training progresses from easier to harder formats, enabling the model to learn from problems that previously yielded zero signal under standard RL post-training. Cog-DRIFT not only improves on the originally unsolvable hard problems (absolute +10.11% for Qwen and +8.64% for Llama) but also generalizes well to other held-out datasets. Across 2 models and 6 reasoning benchmarks, our method consistently outperforms standard GRPO and strong guided-exploration baselines. On average, Cog-DRIFT shows +4.72% (Qwen) and +3.23% (Llama) improvements over the second-best baseline. We further show that Cog-DRIFT improves pass@k at test time, and the curriculum improves sample efficiency. Overall, our results highlight task reformulation and curriculum learning as an effective paradigm for overcoming the exploration barrier in LLM post-training.