Denke, bevor du handelst: Entscheidungstransformatoren mit internem Arbeitsgedächtnis

Think Before You Act: Decision Transformers with Internal Working Memory

May 24, 2023

Autoren: Jikun Kang, Romain Laroche, Xindi Yuan, Adam Trischler, Xue Liu, Jie Fu

cs.AI

Zusammenfassung

Entscheidungsagenten, die auf großen Sprachmodellen (Large Language Models, LLMs) basieren, haben die Fähigkeit gezeigt, sich über mehrere Aufgaben hinweg zu verallgemeinern. Ihre Leistung hängt jedoch von massiven Datenmengen und Rechenleistung ab. Wir argumentieren, dass diese Ineffizienz auf das Vergessensphänomen zurückzuführen ist, bei dem ein Modell seine Verhaltensweisen während des Trainings in den Parametern speichert. Infolgedessen kann das Training an einer neuen Aufgabe die Leistung des Modells bei vorherigen Aufgaben beeinträchtigen. Im Gegensatz zum impliziten Speichermechanismus von LLMs nutzt das menschliche Gehirn einen verteilten Speicher, der dabei hilft, mehrere Fähigkeiten effizient zu verwalten und zu organisieren, wodurch das Vergessensphänomen gemildert wird. Inspiriert davon schlagen wir ein internes Arbeitsgedächtnismodul vor, um Informationen für verschiedene nachgelagerte Aufgaben zu speichern, zu kombinieren und abzurufen. Evaluierungsergebnisse zeigen, dass die vorgeschlagene Methode die Trainings effizienz und Generalisierung sowohl in Atari-Spielen als auch in Meta-World-Objekthandhabungsaufgaben verbessert. Darüber hinaus demonstrieren wir, dass das Feinabstimmen des Gedächtnisses die Anpassungsfähigkeit der vorgeschlagenen Architektur weiter steigert.

English

Large language model (LLM)-based decision-making agents have shown the ability to generalize across multiple tasks. However, their performance relies on massive data and compute. We argue that this inefficiency stems from the forgetting phenomenon, in which a model memorizes its behaviors in parameters throughout training. As a result, training on a new task may deteriorate the model's performance on previous tasks. In contrast to LLMs' implicit memory mechanism, the human brain utilizes distributed memory storage, which helps manage and organize multiple skills efficiently, mitigating the forgetting phenomenon. Thus inspired, we propose an internal working memory module to store, blend, and retrieve information for different downstream tasks. Evaluation results show that the proposed method improves training efficiency and generalization in both Atari games and meta-world object manipulation tasks. Moreover, we demonstrate that memory fine-tuning further enhances the adaptability of the proposed architecture.