Rede de Memória Ultra-Esparsa

Ultra-Sparse Memory Network

November 19, 2024

Autores: Zihao Huang, Qiyang Min, Hongzhi Huang, Defa Zhu, Yutao Zeng, Ran Guo, Xun Zhou

cs.AI

Resumo

É amplamente reconhecido que o desempenho dos modelos Transformer está exponencialmente relacionado ao número de parâmetros e à complexidade computacional. Enquanto abordagens como Mixture of Experts (MoE) desvinculam a contagem de parâmetros da complexidade computacional, ainda enfrentam desafios na inferência devido aos altos custos de acesso à memória. Este trabalho introduz o UltraMem, incorporando uma camada de memória ultra-esparça em larga escala para lidar com essas limitações. Nossa abordagem reduz significativamente a latência de inferência mantendo o desempenho do modelo. Também investigamos as leis de escalonamento dessa nova arquitetura, demonstrando que ela não apenas apresenta propriedades de escalonamento favoráveis, mas supera os modelos tradicionais. Em nossos experimentos, treinamos redes com até 20 milhões de slots de memória. Os resultados mostram que nosso método alcança velocidade de inferência e desempenho do modelo de ponta dentro de um determinado orçamento computacional.

English

It is widely acknowledged that the performance of Transformer models is exponentially related to their number of parameters and computational complexity. While approaches like Mixture of Experts (MoE) decouple parameter count from computational complexity, they still face challenges in inference due to high memory access costs. This work introduces UltraMem, incorporating large-scale, ultra-sparse memory layer to address these limitations. Our approach significantly reduces inference latency while maintaining model performance. We also investigate the scaling laws of this new architecture, demonstrating that it not only exhibits favorable scaling properties but outperforms traditional models. In our experiments, we train networks with up to 20 million memory slots. The results show that our method achieves state-of-the-art inference speed and model performance within a given computational budget.