FastTD3: Aprendizaje por Refuerzo Simple, Rápido y Eficaz para el Control de Humanoides

FastTD3: Simple, Fast, and Capable Reinforcement Learning for Humanoid Control

May 28, 2025

Autores: Younggyo Seo, Carmelo Sferrazza, Haoran Geng, Michal Nauman, Zhao-Heng Yin, Pieter Abbeel

cs.AI

Resumen

El aprendizaje por refuerzo (RL, por sus siglas en inglés) ha impulsado avances significativos en robótica, pero su complejidad y los largos tiempos de entrenamiento siguen siendo obstáculos importantes. En este informe, presentamos FastTD3, un algoritmo de RL simple, rápido y eficaz que acelera notablemente el entrenamiento de robots humanoides en entornos populares como HumanoidBench, IsaacLab y MuJoCo Playground. Nuestra receta es notablemente sencilla: entrenamos un agente TD3 fuera de política con varias modificaciones: simulación paralela, actualizaciones con lotes grandes, un crítico distribucional y hiperparámetros cuidadosamente ajustados. FastTD3 resuelve una variedad de tareas de HumanoidBench en menos de 3 horas utilizando una sola GPU A100, manteniendo la estabilidad durante el entrenamiento. También proporcionamos una implementación ligera y fácil de usar de FastTD3 para acelerar la investigación en RL aplicada a la robótica.

English

Reinforcement learning (RL) has driven significant progress in robotics, but its complexity and long training times remain major bottlenecks. In this report, we introduce FastTD3, a simple, fast, and capable RL algorithm that significantly speeds up training for humanoid robots in popular suites such as HumanoidBench, IsaacLab, and MuJoCo Playground. Our recipe is remarkably simple: we train an off-policy TD3 agent with several modifications -- parallel simulation, large-batch updates, a distributional critic, and carefully tuned hyperparameters. FastTD3 solves a range of HumanoidBench tasks in under 3 hours on a single A100 GPU, while remaining stable during training. We also provide a lightweight and easy-to-use implementation of FastTD3 to accelerate RL research in robotics.