WarpSAC: 探索と活用の再考によるスケーラブルなオフポリシー強化学習の頂点を目指して
WarpSAC: Towards the Pinnacle of Scalable Off-policy RL by Rethinking Exploration and Exploitation
August 25, 2026
著者: Zihao Wu, Hongyao Tang, Yi Ma, Huizhong Song, Pengyi Li, Yifu Yuan, Fei Ni, Jinyi Liu, Wei Wei, Jianrong Wang, Yan Zheng, Jianye Hao
cs.AI
要旨
大規模並列シミュレーションは、オフ方策強化学習（RL）が訓練されるデータ環境を変化させ、データが限られたリプレイ向けに設計された安定化機構に新たな課題を突きつける。8つのベンチマークファミリーにわたる統制実験を通じて、これらの安定化機構がデータ環境依存性を持つことを示す。すなわち、パラメータ正規化はリプレイのカバレッジが狭い場合には有効であるが、データが豊富な場合には価値関数のフィッティングを制限する。また、クリップ付きダブルQは高スループット操作では緩和できる。エージバイアス付きリプレイ重み付けは、データ環境を問わず学習効率を向上させ、特にネットワーク容量が限られている場合にその効果が顕著である。
これらの知見に基づき、我々はデータ環境適応型のオフ方策RLアルゴリズム群であるWarpsACを提案する。WarpsACは効率的な活用のためにサンプル重み減衰を用い、2つの変種を提供する：データが限られたCPUスケール訓練向けのWarpsAC-L（正規化ON、クリップ付きダブルQ）、およびデータが豊富なGPU並列訓練向けのWarpsAC-A（正規化OFF、単一Q）。WarpsACは、9つのCPUスケール環境でFlashSACに対する正規化スコア・ステップAUCを4.5%向上させ、14のGPU並列環境では23.1%向上させる。UnitreeG1TransportBox-v1の成功率を19.8%から96.4%に引き上げ、MuJoCo Playgroundでの平均正規化ウォールタイムAUCを19.1%改善し、Unitree G1でのシミュレーションから実機への展開をFlashSACよりも36.4%高速化する。これらの結果は、スケーラブルなオフ方策RLはその安定化機構を利用可能なデータ環境に適応させるべきであることを示している。
English
Massively parallel simulation changes the data regime in which off-policy reinforcement learning (RL) is trained, challenging stabilizers designed for data-limited replay. Through controlled experiments across eight benchmark families, we show that these stabilizers are data-regime-dependent: parameter normalization helps with narrow replay coverage but restricts value fitting when data are abundant, while clipped double-Q can be relaxed in high-throughput manipulation. Age-biased replay weighting improves learning efficiency across regimes, especially with limited network capacity.
Based on these findings, we propose WarpSAC, a regime-aware family of off-policy RL algorithms. WarpSAC uses Sample Weight Decay for efficient exploitation and provides two variants: WarpSAC-L (Norm ON, clipped double-Q) for data-limited CPU-scale training, and WarpSAC-A (Norm OFF, single-Q) for data-abundant GPU-parallel training. WarpSAC improves normalized score--step AUC over FlashSAC by 4.5% across nine CPU-scale environments and 23.1% across fourteen GPU-parallel environments. It increases UnitreeG1TransportBox-v1 success rate from 19.8% to 96.4%, improves mean normalized wall-time AUC on MuJoCo Playground by 19.1%, and achieves 36.4% faster sim-to-real deployment on Unitree G1 than FlashSAC. These results show that scalable off-policy RL should adapt its stabilizers to the available data regime.