ReflectRL： reflective-to-direct推論による黄金の負軌跡からの学習

要旨

オン方策トレーニングは、大規模言語モデルの推論能力を向上させるポストトレーニングパラダイムとして有力であり、より強力な専門家モデルからのゴールデントラジェクトリによってしばしば強化される。しかし、専門家がより困難な問題で失敗した場合、既存の軌道誘導型手法はその主要な教師信号源を失い、これらの失敗したトラジェクトリは通常、ネガティブサンプルとして破棄される。我々は、このような失敗、すなわちゴールデンネガティブトラジェクトリが、模倣すべきデモンストレーションとしてではなく、内省すべき不完全な軌道として扱われる場合、依然として貴重な推論信号を提供できると主張する。我々はリフレクションアドバンテージを特定する。すなわち、困難な問題に対しては、不完全な軌道を内省することは、ゼロから直接問題を解くよりも容易かつ効果的であり得る。この着想に基づき、我々はReflectRLを提案する。これは、オン方策トレーニング中にゴールデンネガティブトラジェクトリから学習する軽量なプラグアンドプレイフレームワークである。ReflectRLはまずこれらの軌道を用いてリフレクティブリーズニング（内省的推論）を誘発し、次にリフレクションから直接方策への遷移を適用して、獲得した推論行動を直接推論へと移転する。9つのベンチマーク、4つのLLMバックボーン、4つのオン方策トレーニング手法にわたる実験により、ReflectRLが最小限のオーバーヘッドで推論性能を一貫して向上させることが示された。

English

On-policy training has emerged as a powerful post-training paradigm for improving the reasoning capabilities of large language models, and is often enhanced by golden trajectories from stronger expert models. However, when the expert fails on harder problems, existing trajectory-guided methods lose their main source of supervision, and these failed trajectories are typically discarded as negative samples. We argue that such failures, which we call Golden Negative Trajectories, can still provide valuable reasoning signals when treated not as demonstrations to imitate, but as flawed trajectories to reflect upon. We identify a Reflection Advantage: for hard problems, reflecting on a flawed trajectory can be easier and more effective than solving the problem directly from scratch. Motivated by this, we propose ReflectRL, a lightweight plug-and-play framework that learns from Golden Negative Trajectories during on-policy training. ReflectRL first uses these trajectories to elicit Reflective Reasoning, then applies Reflective-to-Direct Policy Transition to transfer the acquired reasoning behavior back to Direct Reasoning. Experiments across 9 benchmarks, 4 LLM backbones, and 4 on-policy training methods show that ReflectRL consistently improves reasoning performance with minimal overhead.