Думай, прежде чем действовать: Трансформеры решений с внутренней рабочей памятью

Think Before You Act: Decision Transformers with Internal Working Memory

May 24, 2023

Авторы: Jikun Kang, Romain Laroche, Xindi Yuan, Adam Trischler, Xue Liu, Jie Fu

cs.AI

Аннотация

Агенты принятия решений на основе больших языковых моделей (LLM) продемонстрировали способность к обобщению в различных задачах. Однако их производительность зависит от огромных объемов данных и вычислительных ресурсов. Мы утверждаем, что эта неэффективность связана с феноменом забывания, при котором модель запоминает свои поведенческие паттерны в параметрах в процессе обучения. В результате обучение на новой задаче может ухудшить производительность модели на предыдущих задачах. В отличие от неявного механизма памяти LLM, человеческий мозг использует распределенное хранение памяти, что помогает эффективно управлять и организовывать множество навыков, смягчая феномен забывания. Вдохновленные этим, мы предлагаем модуль внутренней рабочей памяти для хранения, объединения и извлечения информации для различных последующих задач. Результаты оценки показывают, что предложенный метод повышает эффективность обучения и обобщение как в играх Atari, так и в задачах манипуляции объектами в метамире. Более того, мы демонстрируем, что тонкая настройка памяти дополнительно улучшает адаптивность предложенной архитектуры.

English

Large language model (LLM)-based decision-making agents have shown the ability to generalize across multiple tasks. However, their performance relies on massive data and compute. We argue that this inefficiency stems from the forgetting phenomenon, in which a model memorizes its behaviors in parameters throughout training. As a result, training on a new task may deteriorate the model's performance on previous tasks. In contrast to LLMs' implicit memory mechanism, the human brain utilizes distributed memory storage, which helps manage and organize multiple skills efficiently, mitigating the forgetting phenomenon. Thus inspired, we propose an internal working memory module to store, blend, and retrieve information for different downstream tasks. Evaluation results show that the proposed method improves training efficiency and generalization in both Atari games and meta-world object manipulation tasks. Moreover, we demonstrate that memory fine-tuning further enhances the adaptability of the proposed architecture.