Cog-DRIFT: 適応的に再構成されたインスタンスによる探索が困難な推論問題からの学習を可能にする

要旨

検証可能な報酬からの強化学習（RLVR）は大規模言語モデルの推論能力を向上させてきたが、根本的な限界が残っている：モデルは現在のポリシー下では解決が困難な問題から学習できないことである。これらは有意義な報酬信号を生み出さないためだ。我々はタスクの再定式化に基づく簡潔かつ効果的な解決策を提案する。難易度の高い自由回答形式の問題を、元の答えを保持しつつ実質的な探索空間を縮小し、より密度の高い学習信号を提供する多肢選択や空所補充形式など、認知的に単純な変種へ変換する。これらの再定式化は識別タスクから生成タスクまで連続的に存在し、我々はこれを学習のブートストラップに利用する：モデルはまず構造化された簡単な形式から学習し、この知識が転移することで元の自由回答問題の性能向上に寄与する。この知見に基づき、我々はCog-DRIFTを導入する。これは再定式化された変種を構築し、難易度に基づく適応型カリキュラムへと組織化するフレームワークである。訓練は容易な形式から困難な形式へ進み、標準的なRL事後学習では信号が得られなかった問題からもモデルが学習することを可能にする。Cog-DRIFTは元々解けなかった難問に対しても改善を示す（Qwenで絶対値+10.11%、Llamaで+8.64%）だけでなく、他の保留されたデータセットへもよく汎化した。2つのモデルと6つの推論ベンチマークにわたって、本手法は標準的なGRPOおよび強力なガイド付き探索ベースラインを一貫して上回った。平均して、Cog-DRIFTは第二位のベースライン比で+4.72%（Qwen）および+3.23%（Llama）の改善を示した。さらに、Cog-DRIFTがテスト時のpass@kを向上させ、カリキュラムがサンプル効率を改善することを示す。全体として、我々の結果は、LLMの事後学習における探索の壁を克服する効果的なパラダイムとして、タスクの再定式化とカリキュラム学習の有効性を浮き彫りにしている。

English

Reinforcement learning from verifiable rewards (RLVR) has improved the reasoning abilities of LLMs, yet a fundamental limitation remains: models cannot learn from problems that are too difficult to solve under their current policy, as these yield no meaningful reward signal. We propose a simple yet effective solution based on task reformulation. We transform challenging open-ended problems into cognitively simpler variants -- such as multiple-choice and cloze formats -- that preserve the original answer while reducing the effective search space and providing denser learning signals. These reformulations span a spectrum from discriminative to generative tasks, which we exploit to bootstrap learning: models first learn from structured, easier formats, and this knowledge transfers back to improve performance on the original open-ended problems. Building on this insight, we introduce Cog-DRIFT, a framework that constructs reformulated variants and organizes them into an adaptive curriculum based on difficulty. Training progresses from easier to harder formats, enabling the model to learn from problems that previously yielded zero signal under standard RL post-training. Cog-DRIFT not only improves on the originally unsolvable hard problems (absolute +10.11% for Qwen and +8.64% for Llama) but also generalizes well to other held-out datasets. Across 2 models and 6 reasoning benchmarks, our method consistently outperforms standard GRPO and strong guided-exploration baselines. On average, Cog-DRIFT shows +4.72% (Qwen) and +3.23% (Llama) improvements over the second-best baseline. We further show that Cog-DRIFT improves pass@k at test time, and the curriculum improves sample efficiency. Overall, our results highlight task reformulation and curriculum learning as an effective paradigm for overcoming the exploration barrier in LLM post-training.

Cog-DRIFT: 適応的に再構成されたインスタンスによる探索が困難な推論問題からの学習を可能にする

Cog-DRIFT: Exploration on Adaptively Reformulated Instances Enables Learning from Hard Reasoning Problems

要旨

Support