ECO：ヒューマノイド歩行のための強化学習によるエネルギー制約付き最適化

ECO: Energy-Constrained Optimization with Reinforcement Learning for Humanoid Walking

February 6, 2026

著者: Weidong Huang, Jingwen Zhang, Jiongye Li, Shibowen Zhang, Jiayang Wu, Jiayi Wang, Hangxin Liu, Yaodong Yang, Yao Su

cs.AI

要旨

安定かつエネルギー効率の良い歩行の実現は、ヒューマノイドロボットが実世界の応用で連続的に動作するために不可欠である。既存のMPCやRLのアプローチでは、エネルギー関連の指標を多目的最適化フレームワーク内に組み込むことが多いが、これは広範なハイパーパラメータ調整を必要とし、しばしば最適とは言えないポリシーをもたらす。これらの課題に対処するため、我々はECO（Energy-Constrained Optimization）を提案する。これは、エネルギー関連の指標を報酬から分離し、明示的な不等式制約として再定式化する制約付きRLフレームワークである。この手法は、エネルギーコストを明確かつ解釈可能な物理的表現として提供し、エネルギー効率向上のため、より効率的で直感的なハイパーパラメータ調整を可能にする。ECOは、エネルギー消費量と参照動作に対する専用の制約をラグランジュ未定乗数法により課すことで、ヒューマノイドロボットの安定、対称、かつエネルギー効率の高い歩行を実現する。我々はECOを、MPC、報酬整形を用いた標準RL、および4つの最先端制約付きRL手法と比較評価した。子供サイズのヒューマノイドロボットBRUCEを用いたシミュレーション間転移およびシミュレーションから実機への転移を含む実験により、ECOがロバストな歩行性能を維持しつつ、ベースラインと比較してエネルギー消費を大幅に削減することを実証した。これらの結果は、エネルギー効率の良いヒューマノイドロボットの歩行における大きな進歩を示している。全ての実験デモはプロジェクトウェブサイト（https://sites.google.com/view/eco-humanoid ）で公開されている。

English

Achieving stable and energy-efficient locomotion is essential for humanoid robots to operate continuously in real-world applications. Existing MPC and RL approaches often rely on energy-related metrics embedded within a multi-objective optimization framework, which require extensive hyperparameter tuning and often result in suboptimal policies. To address these challenges, we propose ECO (Energy-Constrained Optimization), a constrained RL framework that separates energy-related metrics from rewards, reformulating them as explicit inequality constraints. This method provides a clear and interpretable physical representation of energy costs, enabling more efficient and intuitive hyperparameter tuning for improved energy efficiency. ECO introduces dedicated constraints for energy consumption and reference motion, enforced by the Lagrangian method, to achieve stable, symmetric, and energy-efficient walking for humanoid robots. We evaluated ECO against MPC, standard RL with reward shaping, and four state-of-the-art constrained RL methods. Experiments, including sim-to-sim and sim-to-real transfers on the kid-sized humanoid robot BRUCE, demonstrate that ECO significantly reduces energy consumption compared to baselines while maintaining robust walking performance. These results highlight a substantial advancement in energy-efficient humanoid locomotion. All experimental demonstrations can be found on the project website: https://sites.google.com/view/eco-humanoid.