Эластичный Трансформер для Принятия Решений

Аннотация

В данной статье представлен Elastic Decision Transformer (EDT), представляющий значительный прогресс по сравнению с существующим Decision Transformer (DT) и его вариантами. Хотя DT заявляет о способности генерировать оптимальную траекторию, эмпирические данные свидетельствуют о его трудностях с "сшиванием траекторий" — процессом создания оптимальной или близкой к оптимальной траектории из лучших частей набора субоптимальных траекторий. Предложенный EDT выделяется за счет облегчения сшивания траекторий во время вывода действий на этапе тестирования, что достигается за счет регулирования длины истории, сохраняемой в DT. Кроме того, EDT оптимизирует траекторию, сохраняя более длинную историю, когда предыдущая траектория является оптимальной, и более короткую — когда она субоптимальна, что позволяет "сшивать" её с более оптимальной траекторией. Многочисленные эксперименты демонстрируют способность EDT сократить разрыв в производительности между подходами на основе DT и Q-обучения. В частности, EDT превосходит методы на основе Q-обучения в многозадачном режиме на бенчмарке D4RL для задач локомоции и в играх Atari. Видео доступны по ссылке: https://kristery.github.io/edt/

English

This paper introduces Elastic Decision Transformer (EDT), a significant advancement over the existing Decision Transformer (DT) and its variants. Although DT purports to generate an optimal trajectory, empirical evidence suggests it struggles with trajectory stitching, a process involving the generation of an optimal or near-optimal trajectory from the best parts of a set of sub-optimal trajectories. The proposed EDT differentiates itself by facilitating trajectory stitching during action inference at test time, achieved by adjusting the history length maintained in DT. Further, the EDT optimizes the trajectory by retaining a longer history when the previous trajectory is optimal and a shorter one when it is sub-optimal, enabling it to "stitch" with a more optimal trajectory. Extensive experimentation demonstrates EDT's ability to bridge the performance gap between DT-based and Q Learning-based approaches. In particular, the EDT outperforms Q Learning-based methods in a multi-task regime on the D4RL locomotion benchmark and Atari games. Videos are available at: https://kristery.github.io/edt/