Co-RL: マルチエージェント強化学習における多様な集団から創発する教師なし推論

要旨

強化学習（RL）は、言語モデルおよび視覚言語モデルにおける推論能力を向上させる強力な手法として登場したが、その最も顕著な成功は依然として正解ラベルによる監督（例：検証可能な報酬）に大きく依存している。このようなアノテーションは入手コストが高く、推論能力が人間が確実に評価できる範囲を超えて進歩するにつれて、その入手はますます困難になる。自己報酬型強化学習は、モデルが自身の生成結果から報酬信号を導出できるようにすることで、この依存を軽減する。しかし、自己生成フィードバックのみに基づく訓練は、既存のバイアスや非最適な行動を強化し、応答の多様性を低下させ、最終的には応答の均質化と訓練崩壊を引き起こす可能性がある。本研究では、協調的マルチエージェント訓練を通じて教師なし推論が出現し得ることを示す。我々は、パラメータを共有しない複数の分離されたモデルが、ピアからの報酬を用いたRLによって同時に最適化されるフレームワークであるCo-RLを紹介する。さらに、異種のモデルファミリ、サイズ、および言い換えた訓練サンプルを通じてコホートの多様性を高めることで、自己増幅フィードバックループを駆動する相関する誤りが低減されることを示す。この多様性は、推論性能を一貫して向上させ、行動多様性を維持し、訓練崩壊を緩和する。テキストのみおよびマルチモーダル領域の双方において、Co-RLはベースモデルおよび従来のラベル不要手法を一貫して上回り、正解ラベルを一切使用せずに、教師あり手法に匹敵またはそれを上回る性能を達成する。具体的には、Co-RLはLLM向けの7つのテキストのみのベンチマークで平均3.0〜8.6%の改善、VLM向けの4つのマルチモーダルベンチマークで平均2.3〜7.2%の改善をもたらす。コードはhttps://github.com/DrStranded/Co-RLで公開している。

English

Reinforcement learning (RL) has emerged as a powerful approach for improving reasoning in language and vision-language models, yet its strongest successes still depend heavily on ground-truth supervision (e.g., verifiable reward). Such annotations are costly to obtain and become increasingly scarce as reasoning capabilities advance beyond what humans can reliably evaluate. Self-rewarding RL reduces this dependence by enabling models to derive reward signals from their own completions. However, training solely on self-generated feedback can reinforce existing biases and suboptimal behaviors, reduce response diversity, and ultimately lead to homogenized responses and training collapse. In this work, we show that unsupervised reasoning can emerge through cooperative multi-agent training. We introduce Co-RL, a framework in which multiple decoupled models, sharing no parameters, are simultaneously optimized through RL using rewards derived from their peers. We further show that increasing cohort diversity, through heterogeneous model families, sizes, and rephrased training samples, reduces the correlated errors that drive self-reinforcing feedback loops. This diversity consistently improves reasoning performance, maintains behavioral diversity, and mitigates training collapse. Across text-only and multimodal domains, Co-RL consistently outperforms the base models and prior label-free approaches, while matching or surpassing supervised methods, without access to any ground-truth labels. Concretely, Co-RL yields average gains of 3.0-8.6% across seven text-only benchmarks for LLMs and 2.3-7.2% across four multimodal benchmarks for VLMs. Code is available at https://github.com/DrStranded/Co-RL.