Premier-TACO: Pretraining van Multitask Representaties via Temporeel Actie-Gestuurd Contrastief Verlies

Premier-TACO: Pretraining Multitask Representation via Temporal Action-Driven Contrastive Loss

February 9, 2024

Auteurs: Ruijie Zheng, Yongyuan Liang, Xiyao Wang, Shuang Ma, Hal Daumé III, Huazhe Xu, John Langford, Praveen Palanisamy, Kalyan Shankar Basu, Furong Huang

cs.AI

Samenvatting

We presenteren Premier-TACO, een aanpak voor het leren van multitask-functie-representaties die is ontworpen om de efficiëntie van few-shot beleidsleren in sequentiële besluitvormingstaken te verbeteren. Premier-TACO maakt gebruik van een subset van multitask offline datasets om een algemene functie-representatie voor te trainen, die kritieke omgevingsdynamiek vastlegt en wordt verfijnd met minimale expertdemonstraties. Het breidt het temporal action contrastive learning (TACO) doel uit, dat bekend staat om state-of-the-art resultaten in visuele controle taken, door een nieuwe strategie voor het bemonsteren van negatieve voorbeelden te incorporeren. Deze strategie is cruciaal voor het aanzienlijk verbeteren van de computationele efficiëntie van TACO, waardoor grootschalige multitask offline voorafgaande training haalbaar wordt. Onze uitgebreide empirische evaluatie in een diverse set van continue controle benchmarks, waaronder Deepmind Control Suite, MetaWorld en LIBERO, toont de effectiviteit van Premier-TACO aan in het vooraf trainen van visuele representaties, wat het few-shot imitatieleren van nieuwe taken aanzienlijk verbetert. Onze code, voorafgaande trainingsdata, evenals vooraf getrainde modelcheckpoints zullen worden vrijgegeven op https://github.com/PremierTACO/premier-taco.

English

We present Premier-TACO, a multitask feature representation learning approach designed to improve few-shot policy learning efficiency in sequential decision-making tasks. Premier-TACO leverages a subset of multitask offline datasets for pretraining a general feature representation, which captures critical environmental dynamics and is fine-tuned using minimal expert demonstrations. It advances the temporal action contrastive learning (TACO) objective, known for state-of-the-art results in visual control tasks, by incorporating a novel negative example sampling strategy. This strategy is crucial in significantly boosting TACO's computational efficiency, making large-scale multitask offline pretraining feasible. Our extensive empirical evaluation in a diverse set of continuous control benchmarks including Deepmind Control Suite, MetaWorld, and LIBERO demonstrate Premier-TACO's effectiveness in pretraining visual representations, significantly enhancing few-shot imitation learning of novel tasks. Our code, pretraining data, as well as pretrained model checkpoints will be released at https://github.com/PremierTACO/premier-taco.