WarpSAC: 탐험과 활용의 재고를 통한 확장 가능한 오프-폴리시 강화학습의 정점을 향하여

초록

대규모 병렬 시뮬레이션은 오프폴리시 강화학습(RL)이 훈련되는 데이터 조건을 변화시켜, 데이터가 제한된 리플레이 상황에 맞게 설계된 안정화 기법에 도전을 제기한다. 여덟 개의 벤치마크 계열에 걸친 통제 실험을 통해, 우리는 이러한 안정화 기법이 데이터 조건에 의존적임을 보여준다: 파라미터 정규화는 리플레이 커버리지가 좁은 경우에는 도움이 되지만 데이터가 풍부할 때는 가치 피팅을 제한하며, 클리핑된 이중 Q는 고처리량 조작에서 완화될 수 있다. 연령 편향 리플레이 가중치는 특히 네트워크 용량이 제한된 경우 다양한 데이터 조건에서 학습 효율을 향상시킨다. 이러한 발견을 바탕으로, 우리는 데이터 조건을 인식하는 오프폴리시 RL 알고리즘 계열인 WarpSAC을 제안한다. WarpSAC은 효율적인 활용을 위해 샘플 가중치 감쇠(Sample Weight Decay)를 사용하며 두 가지 변형을 제공한다: 데이터가 제한된 CPU 규모 훈련을 위한 WarpSAC-L(정규화 적용, 클리핑된 이중 Q)과 데이터가 풍부한 GPU 병렬 훈련을 위한 WarpSAC-A(정규화 미적용, 단일 Q). WarpSAC은 9개의 CPU 규모 환경에서 FlashSAC 대비 정규화된 점수-스텝 AUC를 4.5% 향상시키고, 14개의 GPU 병렬 환경에서는 23.1% 향상시킨다. 또한 UnitreeG1TransportBox-v1의 성공률을 19.8%에서 96.4%로 높이고, MuJoCo Playground에서 평균 정규화 벽시계 시간 AUC를 19.1% 개선하며, FlashSAC보다 Unitree G1에서 시뮬레이션-실제 배포를 36.4% 더 빠르게 달성한다. 이러한 결과는 확장 가능한 오프폴리시 RL이 사용 가능한 데이터 조건에 맞춰 안정화 기법을 적응시켜야 함을 보여준다.

English

Massively parallel simulation changes the data regime in which off-policy reinforcement learning (RL) is trained, challenging stabilizers designed for data-limited replay. Through controlled experiments across eight benchmark families, we show that these stabilizers are data-regime-dependent: parameter normalization helps with narrow replay coverage but restricts value fitting when data are abundant, while clipped double-Q can be relaxed in high-throughput manipulation. Age-biased replay weighting improves learning efficiency across regimes, especially with limited network capacity. Based on these findings, we propose WarpSAC, a regime-aware family of off-policy RL algorithms. WarpSAC uses Sample Weight Decay for efficient exploitation and provides two variants: WarpSAC-L (Norm ON, clipped double-Q) for data-limited CPU-scale training, and WarpSAC-A (Norm OFF, single-Q) for data-abundant GPU-parallel training. WarpSAC improves normalized score--step AUC over FlashSAC by 4.5% across nine CPU-scale environments and 23.1% across fourteen GPU-parallel environments. It increases UnitreeG1TransportBox-v1 success rate from 19.8% to 96.4%, improves mean normalized wall-time AUC on MuJoCo Playground by 19.1%, and achieves 36.4% faster sim-to-real deployment on Unitree G1 than FlashSAC. These results show that scalable off-policy RL should adapt its stabilizers to the available data regime.

WarpSAC: 탐험과 활용의 재고를 통한 확장 가능한 오프-폴리시 강화학습의 정점을 향하여

WarpSAC: Towards the Pinnacle of Scalable Off-policy RL by Rethinking Exploration and Exploitation

초록

Support