Co-RL: 다중 에이전트 강화학습에서 다양한 집단을 통한 비지도 추론의 출현

초록

강화 학습(RL)은 언어 및 비전-언어 모델의 추론 능력을 향상시키는 강력한 접근 방식으로 부상했지만, 가장 큰 성공 사례들은 여전히 실제 정답(ground-truth) 감독(예: 검증 가능한 보상)에 크게 의존한다. 이러한 주석은 획득 비용이 높을 뿐만 아니라, 추론 능력이 인간이 신뢰성 있게 평가할 수 있는 수준을 넘어섬에 따라 점점 더 희소해진다. 자기 보상 강화 학습은 모델이 자체 완성 결과로부터 보상 신호를 도출할 수 있게 함으로써 이러한 의존성을 줄인다. 그러나 자체 생성 피드백만으로 훈련하면 기존의 편향과 차선의 행동이 강화되고, 응답 다양성이 감소하며, 궁극적으로 동질화된 응답과 훈련 붕괴로 이어질 수 있다. 본 연구에서는 협력적 다중 에이전트 훈련을 통해 비지도 추론이 발현될 수 있음을 보여준다. 우리는 매개변수를 공유하지 않는 여러 개의 분리된 모델이 동료로부터 파생된 보상을 사용하여 강화 학습을 통해 동시에 최적화되는 프레임워크인 Co-RL을 제안한다. 또한 이질적 모델 계열, 크기, 재구성된 훈련 샘플을 통한 코호트 다양성의 증가가 자기 강화 피드백 루프를 유발하는 상관된 오류를 줄인다는 것을 입증한다. 이러한 다양성은 추론 성능을 일관되게 향상시키고, 행동 다양성을 유지하며, 훈련 붕괴를 완화한다. 텍스트 전용 및 다중 모달 영역 모두에서 Co-RL은 기본 모델과 기존의 레이블 없는 접근 방식보다 일관되게 우수한 성능을 보이며, 실제 정답 레이블에 대한 접근 없이도 감독 학습 방법과 동등하거나 이를 능가하는 성능을 달성한다. 구체적으로, Co-RL은 LLM을 위한 7개의 텍스트 전용 벤치마크에서 평균 3.0-8.6%, VLM을 위한 4개의 다중 모달 벤치마크에서 2.3-7.2%의 성능 향상을 달성한다. 코드는 https://github.com/DrStranded/Co-RL에서 확인할 수 있다.

English

Reinforcement learning (RL) has emerged as a powerful approach for improving reasoning in language and vision-language models, yet its strongest successes still depend heavily on ground-truth supervision (e.g., verifiable reward). Such annotations are costly to obtain and become increasingly scarce as reasoning capabilities advance beyond what humans can reliably evaluate. Self-rewarding RL reduces this dependence by enabling models to derive reward signals from their own completions. However, training solely on self-generated feedback can reinforce existing biases and suboptimal behaviors, reduce response diversity, and ultimately lead to homogenized responses and training collapse. In this work, we show that unsupervised reasoning can emerge through cooperative multi-agent training. We introduce Co-RL, a framework in which multiple decoupled models, sharing no parameters, are simultaneously optimized through RL using rewards derived from their peers. We further show that increasing cohort diversity, through heterogeneous model families, sizes, and rephrased training samples, reduces the correlated errors that drive self-reinforcing feedback loops. This diversity consistently improves reasoning performance, maintains behavioral diversity, and mitigates training collapse. Across text-only and multimodal domains, Co-RL consistently outperforms the base models and prior label-free approaches, while matching or surpassing supervised methods, without access to any ground-truth labels. Concretely, Co-RL yields average gains of 3.0-8.6% across seven text-only benchmarks for LLMs and 2.3-7.2% across four multimodal benchmarks for VLMs. Code is available at https://github.com/DrStranded/Co-RL.