エージェント強化学習においてMuonはいつ有効か？

要旨

Muonは大規模事前学習においてAdamWと競合しますが、強化学習(RL)後訓練におけるその価値は依然として不明瞭です。我々は、Qwen2.5-0.5B-Instructを用いたALFWorldにおいて、AdamWとの単一種子比較により、疎報酬エージェント型RLにおけるバニラMuonを研究します。グループ内グループ方策最適化(GiGPO)において、Muonを隠れ重み行列にのみ適用すると、最終ウィンドウの検証成功率が0.290から0.546へと上昇します(+88%)。高学習率のAdamW制御では、更新後の成功率はゼロのままです。この効果はアドバンテージ推定器と学習率に依存します。3e-5では、MuonはGRPOを0.161から0.268へ改善する一方、GraphGPOの後期ウィンドウの差は飽和に近づくにつれて縮小します。1e-5では、GraphGPO Muonは0.901に達し、正規化された検証AUCを0.399から0.556に引き上げ、成功率0.5および0.75にそれぞれ30回および60回早い更新で到達します。これらの探索的結果は、Muonがエージェント型RLに利益をもたらす可能性を示し、方策最適化器、アドバンテージ推定器、学習率を統合的に研究する動機を与えます。複数種子およびタスク横断の検証は未解決のままです。

English

Muon is competitive with AdamW in large-scale pre-training, but its value for reinforcement-learning (RL) post-training remains unclear. We study vanilla Muon in sparse-reward agentic RL through matched single-seed comparisons with AdamW on ALFWorld using Qwen2.5-0.5B-Instruct. Under Group-in-Group Policy Optimization (GiGPO), applying Muon only to hidden weight matrices raises final-window validation success from 0.290 to 0.546 (+88%); high-rate AdamW controls retain no post-update success. The effect depends on the advantage estimator and learning rate. At 3e-5, Muon improves GRPO from 0.161 to 0.268, whereas GraphGPO's late-window gap narrows near saturation. At 1e-5, GraphGPO Muon reaches 0.901, raises normalized validation AUC from 0.399 to 0.556, and reaches 0.5 and 0.75 success 30 and 60 updates earlier, respectively. These exploratory results show that Muon can benefit agentic RL and motivate studying the policy optimizer, advantage estimator, and learning rate jointly. Multi-seed and cross-task validation remain open.