RLVR에서 RLSVR로: 작업 변환이 개방형 LLM 자기 개선을 위한 자가 검증 가능한 보상을 유도한다

초록

검증 가능한 보상을 통한 강화 학습(RLVR)은 대규모 최적화를 가능하게 함으로써 추론 중심 대규모 언어 모델(LLM)의 최근 발전을 이끌어 왔다. 그러나 그 적용 가능성은 여전히 정확성을 결정론적으로 검증할 수 있는 수학 및 코딩과 같은 영역에 크게 제한되어 있다. 개방형 과제는 대신 종종 인간의 선호도, 보상 모델, 또는 LLM 기반 평가자에 의존하는데, 이는 평가 편향, 평가자 능력 병목, 추가 추론 비용을 초래한다. 데이터 자체에서 감독 신호를 도출하기 위해 사전 과제를 구성하는 자기 지도 학습의 원리에 착안하여, 우리는 개방형 과제로 RLVR을 확장하기 위한 과제 변환 기반 훈련 패러다임인 자가 검증 가능한 보상을 통한 강화 학습(RLSVR)을 제안한다. RLSVR은 개방형 과제를 검증 가능한 대리 환경으로 변환하며, 이 환경의 내부 규칙과 상호작용 결과는 자동으로 보상 신호를 생성한다. 우리는 'Who Is the Spy?'(누가 스파이인가?)에서 영감을 받은 다중 에이전트 자기 대결 환경인 SpyRL로 RLSVR을 구현한다. 에이전트들은 비대칭 정보를 받고 동일한 목표 과제를 수행한 후 지정된 스파이를 식별하기 위해 투표한다. 스파이의 정체가 미리 정해져 있기 때문에 투표 결과는 완전히 검증 가능한 보상을 제공하며, 성공적인 식별은 출력 품질과 밀접한 관련을 유지한다. 텍스트 요약, 창의적 글쓰기, 수학적 추론에 대한 실험에서 SpyRL은 비검증 가능한 과제에서 기존 자기 개선 방법을 능가했으며, 검증 가능한 추론 과제에서도 일관된 성과 향상을 보였다. 이러한 결과는 과제 변환이 본질적으로 검증 가능한 영역을 넘어 확장 가능한 RLVR 기반 자기 개선을 확장할 수 있음을 입증한다. 모델과 코드는 https://github.com/wangqinsi1/SpyRL에서 공개되었다.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has driven recent progress in reasoning-oriented large language models (LLMs) by enabling large-scale optimization. However, its applicability remains largely limited to domains such as mathematics and coding, where correctness can be deterministically verified. Open-ended tasks instead often rely on human preferences, reward models, or LLM-based judges, introducing evaluation bias, judge capability bottlenecks, and additional inference costs.Drawing on the principle of self-supervised learning, which constructs pretext tasks to derive supervision from the data itself, we propose Reinforcement Learning with Self-Verifiable Rewards (RLSVR), a task-transformation-based training paradigm for extending RLVR to open-ended tasks. RLSVR transforms open-ended tasks into verifiable proxy environments whose internal rules and interaction outcomes automatically generate reward signals. We instantiate RLSVR with SpyRL, a multi-agent self-play environment inspired by Who Is the Spy?. Agents receive asymmetric information, complete the same target task, and vote to identify a designated spy. Because the spy identity is predetermined, voting outcomes provide fully verifiable rewards, while successful identification remains closely related to output quality. Experiments on text summarization, creative writing, and mathematical reasoning show that SpyRL outperforms existing self-improvement methods on non-verifiable tasks and yields consistent gains on verifiable reasoning tasks. These results demonstrate that task transformation can extend scalable RLVR-based self-improvement beyond inherently verifiable domains. Models and code have been released at https://github.com/wangqinsi1/SpyRL.