Premier-TACO: Pretrenamiento de Representaciones Multitarea mediante Pérdida Contrastiva Impulsada por Acciones Temporales

Premier-TACO: Pretraining Multitask Representation via Temporal Action-Driven Contrastive Loss

February 9, 2024

Autores: Ruijie Zheng, Yongyuan Liang, Xiyao Wang, Shuang Ma, Hal Daumé III, Huazhe Xu, John Langford, Praveen Palanisamy, Kalyan Shankar Basu, Furong Huang

cs.AI

Resumen

Presentamos Premier-TACO, un enfoque de aprendizaje de representación de características multitarea diseñado para mejorar la eficiencia del aprendizaje de políticas con pocos ejemplos en tareas de toma de decisiones secuenciales. Premier-TACO aprovecha un subconjunto de conjuntos de datos multitarea fuera de línea para el preentrenamiento de una representación de características general, que captura dinámicas críticas del entorno y se ajusta utilizando demostraciones expertas mínimas. Este método avanza el objetivo de aprendizaje contrastivo de acciones temporales (TACO), conocido por sus resultados de vanguardia en tareas de control visual, al incorporar una nueva estrategia de muestreo de ejemplos negativos. Esta estrategia es crucial para aumentar significativamente la eficiencia computacional de TACO, haciendo factible el preentrenamiento multitarea fuera de línea a gran escala. Nuestra evaluación empírica exhaustiva en un conjunto diverso de benchmarks de control continuo, que incluyen Deepmind Control Suite, MetaWorld y LIBERO, demuestra la efectividad de Premier-TACO en el preentrenamiento de representaciones visuales, mejorando significativamente el aprendizaje por imitación con pocos ejemplos en tareas novedosas. Nuestro código, datos de preentrenamiento, así como los puntos de control de modelos preentrenados, se publicarán en https://github.com/PremierTACO/premier-taco.

English

We present Premier-TACO, a multitask feature representation learning approach designed to improve few-shot policy learning efficiency in sequential decision-making tasks. Premier-TACO leverages a subset of multitask offline datasets for pretraining a general feature representation, which captures critical environmental dynamics and is fine-tuned using minimal expert demonstrations. It advances the temporal action contrastive learning (TACO) objective, known for state-of-the-art results in visual control tasks, by incorporating a novel negative example sampling strategy. This strategy is crucial in significantly boosting TACO's computational efficiency, making large-scale multitask offline pretraining feasible. Our extensive empirical evaluation in a diverse set of continuous control benchmarks including Deepmind Control Suite, MetaWorld, and LIBERO demonstrate Premier-TACO's effectiveness in pretraining visual representations, significantly enhancing few-shot imitation learning of novel tasks. Our code, pretraining data, as well as pretrained model checkpoints will be released at https://github.com/PremierTACO/premier-taco.