エラスティック・デシジョン・トランスフォーマー

要旨

本論文は、既存のDecision Transformer（DT）とその派生モデルを大幅に進化させたElastic Decision Transformer（EDT）を紹介する。DTは最適な軌道を生成することを謳っているが、実証的な証拠から、最適または準最適な軌道を複数の準最適な軌道の最良の部分から生成する「軌道縫合（trajectory stitching）」に苦戦していることが示されている。提案するEDTは、テスト時の行動推論において軌道縫合を促進することで差別化を図り、これはDTで維持される履歴長を調整することで実現される。さらに、EDTは、前の軌道が最適な場合には長い履歴を保持し、準最適な場合には短い履歴を保持することで軌道を最適化し、より最適な軌道と「縫合」することを可能にする。大規模な実験により、EDTがDTベースのアプローチとQ学習ベースのアプローチの性能差を埋める能力を実証している。特に、EDTはD4RLロコモーションベンチマークとAtariゲームにおけるマルチタスク環境において、Q学習ベースの手法を上回る性能を示す。動画は以下で閲覧可能：https://kristery.github.io/edt/

English

This paper introduces Elastic Decision Transformer (EDT), a significant advancement over the existing Decision Transformer (DT) and its variants. Although DT purports to generate an optimal trajectory, empirical evidence suggests it struggles with trajectory stitching, a process involving the generation of an optimal or near-optimal trajectory from the best parts of a set of sub-optimal trajectories. The proposed EDT differentiates itself by facilitating trajectory stitching during action inference at test time, achieved by adjusting the history length maintained in DT. Further, the EDT optimizes the trajectory by retaining a longer history when the previous trajectory is optimal and a shorter one when it is sub-optimal, enabling it to "stitch" with a more optimal trajectory. Extensive experimentation demonstrates EDT's ability to bridge the performance gap between DT-based and Q Learning-based approaches. In particular, the EDT outperforms Q Learning-based methods in a multi-task regime on the D4RL locomotion benchmark and Atari games. Videos are available at: https://kristery.github.io/edt/