Red Ultra-Escasa en la Red de Memoria

Ultra-Sparse Memory Network

November 19, 2024

Autores: Zihao Huang, Qiyang Min, Hongzhi Huang, Defa Zhu, Yutao Zeng, Ran Guo, Xun Zhou

cs.AI

Resumen

Es ampliamente reconocido que el rendimiento de los modelos Transformer está relacionado de forma exponencial con su número de parámetros y complejidad computacional. Aunque enfoques como la Mezcla de Expertos (MoE) separan el recuento de parámetros de la complejidad computacional, aún enfrentan desafíos en la inferencia debido a los altos costos de acceso a la memoria. Este trabajo presenta UltraMem, que incorpora una capa de memoria a gran escala y ultra dispersa para abordar estas limitaciones. Nuestro enfoque reduce significativamente la latencia de inferencia manteniendo el rendimiento del modelo. También investigamos las leyes de escala de esta nueva arquitectura, demostrando que no solo presenta propiedades de escala favorables, sino que supera a los modelos tradicionales. En nuestros experimentos, entrenamos redes con hasta 20 millones de espacios de memoria. Los resultados muestran que nuestro método logra una velocidad de inferencia y rendimiento del modelo de vanguardia dentro de un presupuesto computacional dado.

English

It is widely acknowledged that the performance of Transformer models is exponentially related to their number of parameters and computational complexity. While approaches like Mixture of Experts (MoE) decouple parameter count from computational complexity, they still face challenges in inference due to high memory access costs. This work introduces UltraMem, incorporating large-scale, ultra-sparse memory layer to address these limitations. Our approach significantly reduces inference latency while maintaining model performance. We also investigate the scaling laws of this new architecture, demonstrating that it not only exhibits favorable scaling properties but outperforms traditional models. In our experiments, we train networks with up to 20 million memory slots. The results show that our method achieves state-of-the-art inference speed and model performance within a given computational budget.