FastTD3: ヒューマノイド制御のためのシンプルで高速かつ高性能な強化学習

FastTD3: Simple, Fast, and Capable Reinforcement Learning for Humanoid Control

May 28, 2025

著者: Younggyo Seo, Carmelo Sferrazza, Haoran Geng, Michal Nauman, Zhao-Heng Yin, Pieter Abbeel

cs.AI

要旨

強化学習（Reinforcement Learning, RL）はロボティクス分野において大きな進展をもたらしてきたが、その複雑さと長い訓練時間が主要なボトルネックとなっている。本報告では、HumanoidBench、IsaacLab、MuJoCo Playgroundなどの人気のあるスイートにおいて、ヒューマノイドロボットの訓練を大幅に高速化する、シンプルで高速かつ高性能なRLアルゴリズムであるFastTD3を紹介する。我々のアプローチは非常に単純である：オフポリシーのTD3エージェントを、並列シミュレーション、大規模バッチ更新、分布型クリティック、そして慎重に調整されたハイパーパラメータといったいくつかの修正を加えて訓練する。FastTD3は、単一のA100 GPU上で3時間未満で一連のHumanoidBenchタスクを解決し、訓練中も安定性を維持する。さらに、ロボティクスにおけるRL研究を加速するための、軽量で使いやすいFastTD3の実装も提供する。

English

Reinforcement learning (RL) has driven significant progress in robotics, but its complexity and long training times remain major bottlenecks. In this report, we introduce FastTD3, a simple, fast, and capable RL algorithm that significantly speeds up training for humanoid robots in popular suites such as HumanoidBench, IsaacLab, and MuJoCo Playground. Our recipe is remarkably simple: we train an off-policy TD3 agent with several modifications -- parallel simulation, large-batch updates, a distributional critic, and carefully tuned hyperparameters. FastTD3 solves a range of HumanoidBench tasks in under 3 hours on a single A100 GPU, while remaining stable during training. We also provide a lightweight and easy-to-use implementation of FastTD3 to accelerate RL research in robotics.