Сверхразреженная сеть памяти

Ultra-Sparse Memory Network

November 19, 2024

Авторы: Zihao Huang, Qiyang Min, Hongzhi Huang, Defa Zhu, Yutao Zeng, Ran Guo, Xun Zhou

cs.AI

Аннотация

Широко признано, что производительность моделей Transformer экспоненциально зависит от их количества параметров и вычислительной сложности. В то время как подходы, такие как Mixture of Experts (MoE), разделяют количество параметров и вычислительную сложность, они все еще сталкиваются с проблемами в выводе из-за высоких затрат на доступ к памяти. В данной работе представлен UltraMem, включающий в себя масштабируемый, ультра-разреженный слой памяти для преодоления этих ограничений. Наш подход значительно снижает задержку вывода, сохраняя при этом производительность модели. Мы также исследуем законы масштабирования этой новой архитектуры, демонстрируя, что она не только обладает благоприятными свойствами масштабирования, но и превосходит традиционные модели. В наших экспериментах мы обучаем сети с до 20 миллионами слотов памяти. Результаты показывают, что наш метод достигает современной скорости вывода и производительности модели в рамках заданного вычислительного бюджета.

English

It is widely acknowledged that the performance of Transformer models is exponentially related to their number of parameters and computational complexity. While approaches like Mixture of Experts (MoE) decouple parameter count from computational complexity, they still face challenges in inference due to high memory access costs. This work introduces UltraMem, incorporating large-scale, ultra-sparse memory layer to address these limitations. Our approach significantly reduces inference latency while maintaining model performance. We also investigate the scaling laws of this new architecture, demonstrating that it not only exhibits favorable scaling properties but outperforms traditional models. In our experiments, we train networks with up to 20 million memory slots. The results show that our method achieves state-of-the-art inference speed and model performance within a given computational budget.