Denk Voordat Je Handelt: Beslissingstransformers met Intern Werkgeheugen

Think Before You Act: Decision Transformers with Internal Working Memory

May 24, 2023

Auteurs: Jikun Kang, Romain Laroche, Xindi Yuan, Adam Trischler, Xue Liu, Jie Fu

cs.AI

Samenvatting

Besluitvormingsagenten gebaseerd op grote taalmodellen (LLM's) hebben het vermogen getoond om te generaliseren over meerdere taken. Hun prestaties zijn echter afhankelijk van enorme hoeveelheden data en rekenkracht. Wij stellen dat deze inefficiëntie voortkomt uit het vergeten-fenomeen, waarbij een model zijn gedragingen in parameters onthoudt gedurende de training. Als gevolg hiervan kan training op een nieuwe taak de prestaties van het model op eerdere taken verslechteren. In tegenstelling tot het impliciete geheugenmechanisme van LLM's, maakt het menselijk brein gebruik van gedistribueerde geheugenopslag, wat helpt bij het efficiënt beheren en organiseren van meerdere vaardigheden, waardoor het vergeten-fenomeen wordt gemitigeerd. Geïnspireerd hierdoor stellen wij een intern werkgeheugenmodule voor om informatie voor verschillende downstream taken op te slaan, te combineren en op te halen. Evaluatieresultaten tonen aan dat de voorgestelde methode de trainingsefficiëntie en generalisatie verbetert in zowel Atari-spellen als meta-wereld objectmanipulatietaken. Bovendien laten we zien dat geheugen-finetuning de aanpassingsbaarheid van de voorgestelde architectuur verder verbetert.

English

Large language model (LLM)-based decision-making agents have shown the ability to generalize across multiple tasks. However, their performance relies on massive data and compute. We argue that this inefficiency stems from the forgetting phenomenon, in which a model memorizes its behaviors in parameters throughout training. As a result, training on a new task may deteriorate the model's performance on previous tasks. In contrast to LLMs' implicit memory mechanism, the human brain utilizes distributed memory storage, which helps manage and organize multiple skills efficiently, mitigating the forgetting phenomenon. Thus inspired, we propose an internal working memory module to store, blend, and retrieve information for different downstream tasks. Evaluation results show that the proposed method improves training efficiency and generalization in both Atari games and meta-world object manipulation tasks. Moreover, we demonstrate that memory fine-tuning further enhances the adaptability of the proposed architecture.