Transformadores com Cache: Melhorando Transformadores com Memória Diferenciável em Cache

Cached Transformers: Improving Transformers with Differentiable Memory Cache

December 20, 2023

Autores: Zhaoyang Zhang, Wenqi Shao, Yixiao Ge, Xiaogang Wang, Jinwei Gu, Ping Luo

cs.AI

Resumo

Este trabalho apresenta um novo modelo Transformer chamado Cached Transformer, que utiliza atenção com Cache Recorrente Controlado (GRC) para estender o mecanismo de auto-atenção com um cache de memória diferenciável de tokens. A atenção GRC permite atender tanto a tokens passados quanto atuais, aumentando o campo receptivo da atenção e possibilitando a exploração de dependências de longo alcance. Ao empregar uma unidade de controle recorrente para atualizar continuamente o cache, nosso modelo alcança avanços significativos em seis tarefas de linguagem e visão, incluindo modelagem de linguagem, tradução automática, ListOPs, classificação de imagens, detecção de objetos e segmentação de instâncias. Além disso, nossa abordagem supera técnicas baseadas em memória anteriores em tarefas como modelagem de linguagem e demonstra a capacidade de ser aplicada a uma gama mais ampla de situações.

English

This work introduces a new Transformer model called Cached Transformer, which uses Gated Recurrent Cached (GRC) attention to extend the self-attention mechanism with a differentiable memory cache of tokens. GRC attention enables attending to both past and current tokens, increasing the receptive field of attention and allowing for exploring long-range dependencies. By utilizing a recurrent gating unit to continuously update the cache, our model achieves significant advancements in six language and vision tasks, including language modeling, machine translation, ListOPs, image classification, object detection, and instance segmentation. Furthermore, our approach surpasses previous memory-based techniques in tasks such as language modeling and displays the ability to be applied to a broader range of situations.