Réfléchir avant d'agir : Transformeurs de décision avec mémoire de travail interne

Think Before You Act: Decision Transformers with Internal Working Memory

May 24, 2023

Auteurs: Jikun Kang, Romain Laroche, Xindi Yuan, Adam Trischler, Xue Liu, Jie Fu

cs.AI

Résumé

Les agents de décision basés sur des modèles de langage de grande taille (LLM) ont démontré une capacité à généraliser à travers plusieurs tâches. Cependant, leurs performances reposent sur des quantités massives de données et de calcul. Nous soutenons que cette inefficacité découle du phénomène d'oubli, dans lequel un modèle mémorise ses comportements dans ses paramètres tout au long de l'entraînement. Par conséquent, l'entraînement sur une nouvelle tâche peut détériorer les performances du modèle sur les tâches précédentes. Contrairement au mécanisme de mémoire implicite des LLM, le cerveau humain utilise un stockage de mémoire distribué, qui aide à gérer et organiser plusieurs compétences de manière efficace, atténuant ainsi le phénomène d'oubli. Inspirés par cela, nous proposons un module de mémoire de travail interne pour stocker, fusionner et récupérer des informations pour différentes tâches en aval. Les résultats d'évaluation montrent que la méthode proposée améliore l'efficacité de l'entraînement et la généralisation dans les jeux Atari et les tâches de manipulation d'objets dans le monde méta. De plus, nous démontrons que l'ajustement fin de la mémoire améliore encore l'adaptabilité de l'architecture proposée.

English

Large language model (LLM)-based decision-making agents have shown the ability to generalize across multiple tasks. However, their performance relies on massive data and compute. We argue that this inefficiency stems from the forgetting phenomenon, in which a model memorizes its behaviors in parameters throughout training. As a result, training on a new task may deteriorate the model's performance on previous tasks. In contrast to LLMs' implicit memory mechanism, the human brain utilizes distributed memory storage, which helps manage and organize multiple skills efficiently, mitigating the forgetting phenomenon. Thus inspired, we propose an internal working memory module to store, blend, and retrieve information for different downstream tasks. Evaluation results show that the proposed method improves training efficiency and generalization in both Atari games and meta-world object manipulation tasks. Moreover, we demonstrate that memory fine-tuning further enhances the adaptability of the proposed architecture.