Cog-DRIFT: Untersuchung adaptiv reformulierter Instanzen ermöglicht das Lernen aus schwierigen Denkproblemen

Cog-DRIFT: Exploration on Adaptively Reformulated Instances Enables Learning from Hard Reasoning Problems

April 6, 2026

Autoren: Justin Chih-Yao Chen, Archiki Prasad, Zaid Khan, Joykirat Singh, Runchu Tian, Elias Stengel-Eskin, Mohit Bansal

cs.AI

Zusammenfassung

Reinforcement Learning from Verifiable Rewards (RLVR) hat die Fähigkeiten von LLMs im Bereich des logischen Denkens verbessert, doch eine grundlegende Einschränkung bleibt bestehen: Modelle können nicht aus Problemen lernen, die unter ihrer aktuellen Policy zu schwierig zu lösen sind, da diese keine aussagekräftigen Belohnungssignale liefern. Wir schlagen eine einfache, aber effektive Lösung auf Basis von Aufgabenreformulierung vor. Wir transformieren anspruchsvolle, offene Probleme in kognitiv einfachere Varianten – wie Multiple-Choice- und Cloze-Formate –, die die ursprüngliche Antwort beibehalten, während der effektive Suchraum verkleinert und dichtere Lernsignale bereitgestellt werden. Diese Reformulierungen umfassen ein Spektrum von diskriminativen zu generativen Aufgaben, die wir zum Bootstrap-Lernen nutzen: Modelle lernen zunächst aus strukturierten, einfacheren Formaten, und dieses Wissen überträgt sich zurück, um die Leistung bei den ursprünglichen offenen Problemen zu verbessern. Aufbauend auf dieser Erkenntnis führen wir Cog-DRIFT ein, ein Framework, das reformulierte Varianten konstruiert und sie basierend auf dem Schwierigkeitsgrad in einen adaptiven Lehrplan organisiert. Das Training schreitet von einfacheren zu schwierigeren Formaten fort, was es dem Modell ermöglicht, aus Problemen zu lernen, die zuvor unter standardmäßigem RL-Post-Training kein Signal lieferten. Cog-DRIFT verbessert nicht nur die ursprünglich unlösbaren schwierigen Probleme (absolut +10,11 % für Qwen und +8,64 % für Llama), sondern generalisiert auch gut auf andere zurückgehaltene Datensätze. Über 2 Modelle und 6 Reasoning-Benchmarks hinweg übertrifft unsere Methode durchgängig standardmäßiges GRPO und starke Guided-Exploration-Baselines. Im Durchschnitt zeigt Cog-DRIFT Verbesserungen von +4,72 % (Qwen) und +3,23 % (Llama) gegenüber der zweitbesten Baseline. Wir zeigen weiterhin, dass Cog-DRIFT pass@k zur Testzeit verbessert und der Lehrplan die Stichprobeneffizienz steigert. Insgesamt unterstreichen unsere Ergebnisse die Aufgabenreformulierung und Curriculum-basiertes Lernen als effektives Paradigma, um die Explorationsbarriere im LLM-Post-Training zu überwinden.

English

Reinforcement learning from verifiable rewards (RLVR) has improved the reasoning abilities of LLMs, yet a fundamental limitation remains: models cannot learn from problems that are too difficult to solve under their current policy, as these yield no meaningful reward signal. We propose a simple yet effective solution based on task reformulation. We transform challenging open-ended problems into cognitively simpler variants -- such as multiple-choice and cloze formats -- that preserve the original answer while reducing the effective search space and providing denser learning signals. These reformulations span a spectrum from discriminative to generative tasks, which we exploit to bootstrap learning: models first learn from structured, easier formats, and this knowledge transfers back to improve performance on the original open-ended problems. Building on this insight, we introduce Cog-DRIFT, a framework that constructs reformulated variants and organizes them into an adaptive curriculum based on difficulty. Training progresses from easier to harder formats, enabling the model to learn from problems that previously yielded zero signal under standard RL post-training. Cog-DRIFT not only improves on the originally unsolvable hard problems (absolute +10.11% for Qwen and +8.64% for Llama) but also generalizes well to other held-out datasets. Across 2 models and 6 reasoning benchmarks, our method consistently outperforms standard GRPO and strong guided-exploration baselines. On average, Cog-DRIFT shows +4.72% (Qwen) and +3.23% (Llama) improvements over the second-best baseline. We further show that Cog-DRIFT improves pass@k at test time, and the curriculum improves sample efficiency. Overall, our results highlight task reformulation and curriculum learning as an effective paradigm for overcoming the exploration barrier in LLM post-training.