拡散ベースの方策における隠れた報酬の回復

要旨

本論文では、スカラーエネルギー関数をパラメータ化し、その勾配をデノイジング場として生成的行動モデリングと逆強化学習を統合するEnergyFlowフレームワークを提案する。最大エントロピー最適性の下で、デノイジング・スコアマッチングにより学習されたスコア関数が専門家のソフトQ関数の勾配を回復することを理論的に示し、敵対的訓練を必要としない報酬抽出を可能にする。形式的に、学習された場を保存場に制約することが仮説複雑性を低減し、分布外汎化の境界を強化することを証明する。さらに、回復された報酬の同定可能性を特徴付け、スコア推定誤差が行動選好に伝播する影響を境界付ける。実験では、EnergyFlowは様々なマニピュレーション課題において模倣性能で最先端の結果を達成するとともに、下流の強化学習において、敵対的IRL手法および尤度ベースの代替手法を上回る効果的な報酬信号を提供する。これらの結果は、有効な報酬抽出に必要な構造的制約が、同時に方策汎化にとって有益な帰納バイアスとして機能することを示す。コードはhttps://github.com/sotaagi/EnergyFlow で公開されている。

English

This paper introduces EnergyFlow, a framework that unifies generative action modeling with inverse reinforcement learning by parameterizing a scalar energy function whose gradient is the denoising field. We establish that under maximum-entropy optimality, the score function learned via denoising score matching recovers the gradient of the expert's soft Q-function, enabling reward extraction without adversarial training. Formally, we prove that constraining the learned field to be conservative reduces hypothesis complexity and tightens out-of-distribution generalization bounds. We further characterize the identifiability of recovered rewards and bound how score estimation errors propagate to action preferences. Empirically, EnergyFlow achieves state-of-the-art imitation performance on various manipulation tasks while providing an effective reward signal for downstream reinforcement learning that outperforms both adversarial IRL methods and likelihood-based alternatives. These results show that the structural constraints required for valid reward extraction simultaneously serve as beneficial inductive biases for policy generalization. The code is available at https://github.com/sotaagi/EnergyFlow.

拡散ベースの方策における隠れた報酬の回復

Recovering Hidden Reward in Diffusion-Based Policies

要旨

Support