Полиномиальные композиционные активации: раскрывая динамику крупных языковых моделей

Polynomial Composition Activations: Unleashing the Dynamics of Large Language Models

November 6, 2024

Авторы: Zhijian Zhuo, Ya Wang, Yutao Zeng, Xiaoqing Li, Xun Zhou, Jinwen Ma

cs.AI

Аннотация

Трансформеры нашли широкое применение в различных областях благодаря их мощным возможностям аппроксимации. Этот успех частично обусловлен их врожденной нелинейностью. Таким образом, помимо функции ReLU, используемой в первоначальной архитектуре трансформера, исследователи исследовали альтернативные модули, такие как GeLU и SwishGLU, для увеличения нелинейности и, следовательно, увеличения объема представления. В данной статье мы предлагаем новую категорию активаций полиномиальной композиции (PolyCom), разработанную для оптимизации динамики трансформеров. Теоретически мы предоставляем всесторонний математический анализ PolyCom, выделяя его улучшенную экспрессивность и эффективность по сравнению с другими функциями активации. Особенно мы демонстрируем, что сети, включающие PolyCom, достигают оптимальной скорости аппроксимации, что указывает на то, что сети PolyCom требуют минимального количества параметров для аппроксимации общих гладких функций в пространствах Соболева. Мы проводим эмпирические эксперименты на предварительной настройке крупных языковых моделей (LLM), включая как плотные, так и разреженные архитектуры. Заменяя традиционные функции активации на PolyCom, мы позволяем LLM захватывать взаимодействия более высокого порядка в данных, тем самым улучшая показатели производительности в терминах точности и скорости сходимости. Обширные результаты экспериментов демонстрируют эффективность нашего метода, показывая значительные улучшения по сравнению с другими функциями активации. Код доступен по ссылке https://github.com/BryceZhuo/PolyCom.

English

Transformers have found extensive applications across various domains due to the powerful fitting capabilities. This success can be partially attributed to their inherent nonlinearity. Thus, in addition to the ReLU function employed in the original transformer architecture, researchers have explored alternative modules such as GeLU and SwishGLU to enhance nonlinearity and thereby augment representational capacity. In this paper, we propose a novel category of polynomial composition activations (PolyCom), designed to optimize the dynamics of transformers. Theoretically, we provide a comprehensive mathematical analysis of PolyCom, highlighting its enhanced expressivity and efficacy relative to other activation functions. Notably, we demonstrate that networks incorporating PolyCom achieve the optimal approximation rate, indicating that PolyCom networks require minimal parameters to approximate general smooth functions in Sobolev spaces. We conduct empirical experiments on the pre-training configurations of large language models (LLMs), including both dense and sparse architectures. By substituting conventional activation functions with PolyCom, we enable LLMs to capture higher-order interactions within the data, thus improving performance metrics in terms of accuracy and convergence rates. Extensive experimental results demonstrate the effectiveness of our method, showing substantial improvements over other activation functions. Code is available at https://github.com/BryceZhuo/PolyCom.