「RLVRからRLSVRへ：タスク変換が誘発する自己検証可能な報酬によるオープンエンドLLM自己改善」

要旨

検証可能な報酬を用いた強化学習（RLVR）は、大規模最適化を可能にすることで、推論指向の大規模言語モデル（LLM）の近年の進歩を牽引してきた。しかし、その適用可能性は、正しさを決定論的に検証できる数学やコーディングなどの領域にほぼ限定されたままである。一方、自由形式タスクは、人間の選好、報酬モデル、LLMベースの評価器に依存することが多く、評価バイアス、評価器の能力ボトルネック、追加の推論コストを引き起こす。データ自体から監視信号を導出するためにプレテキストタスクを構築する自己教師あり学習の原理に基づき、我々は、タスク変換に基づく訓練パラダイムである自己検証可能な報酬を用いた強化学習（RLSVR）を提案する。RLSVRは、自由形式タスクを、その内部ルールと相互作用の結果が自動的に報酬信号を生成する検証可能な代理環境へと変換する。我々は、「Who Is the Spy?」に着想を得たマルチエージェント自己対戦環境であるSpyRLを用いてRLSVRを具体化する。エージェントは非対称な情報を受け取り、同じ対象タスクを完了し、指定されたスパイを特定するために投票する。スパイの正体は事前に決定されているため、投票結果は完全に検証可能な報酬を提供し、一方でスパイの正しい特定は出力品質と密接に関連したままである。テキスト要約、創造的作文、数学的推論に関する実験では、SpyRLが非検証可能なタスクにおいて既存の自己改善手法を上回り、検証可能な推論タスクにおいて一貫した改善をもたらすことを示している。これらの結果は、タスク変換が、本質的に検証可能な領域を超えて、スケーラブルなRLVRベースの自己改善を拡張できることを実証している。モデルとコードはhttps://github.com/wangqinsi1/SpyRLで公開されている。

English

Reinforcement Learning with Verifiable Rewards (RLVR) has driven recent progress in reasoning-oriented large language models (LLMs) by enabling large-scale optimization. However, its applicability remains largely limited to domains such as mathematics and coding, where correctness can be deterministically verified. Open-ended tasks instead often rely on human preferences, reward models, or LLM-based judges, introducing evaluation bias, judge capability bottlenecks, and additional inference costs.Drawing on the principle of self-supervised learning, which constructs pretext tasks to derive supervision from the data itself, we propose Reinforcement Learning with Self-Verifiable Rewards (RLSVR), a task-transformation-based training paradigm for extending RLVR to open-ended tasks. RLSVR transforms open-ended tasks into verifiable proxy environments whose internal rules and interaction outcomes automatically generate reward signals. We instantiate RLSVR with SpyRL, a multi-agent self-play environment inspired by Who Is the Spy?. Agents receive asymmetric information, complete the same target task, and vote to identify a designated spy. Because the spy identity is predetermined, voting outcomes provide fully verifiable rewards, while successful identification remains closely related to output quality. Experiments on text summarization, creative writing, and mathematical reasoning show that SpyRL outperforms existing self-improvement methods on non-verifiable tasks and yields consistent gains on verifiable reasoning tasks. These results demonstrate that task transformation can extend scalable RLVR-based self-improvement beyond inherently verifiable domains. Models and code have been released at https://github.com/wangqinsi1/SpyRL.