Sigma: Differentielles Neuskalieren von Abfrage, Schlüssel und Wert für effiziente Sprachmodelle

Sigma: Differential Rescaling of Query, Key and Value for Efficient Language Models

January 23, 2025

Autoren: Zhenghao Lin, Zihao Tang, Xiao Liu, Yeyun Gong, Yi Cheng, Qi Chen, Hang Li, Ying Xin, Ziyue Yang, Kailai Yang, Yu Yan, Xiao Liang, Shuai Lu, Yiming Huang, Zheheng Luo, Lei Qu, Xuan Feng, Yaoxiang Wang, Yuqing Xia, Feiyang Chen, Yuting Jiang, Yasen Hu, Hao Ni, Binyang Li, Guoshuai Zhao, Jui-Hao Chiang, Zhongxin Guo, Chen Lin, Kun Kuang, Wenjie Li, Yelong Shen, Jian Jiao, Peng Cheng, Mao Yang

cs.AI

Zusammenfassung

Wir stellen Sigma vor, ein effizientes großes Sprachmodell, das spezialisiert ist auf das Systemdomäne, ausgestattet mit einer neuartigen Architektur, einschließlich DiffQKV-Aufmerksamkeit, und vortrainiert auf unseren sorgfältig gesammelten Systemdomänendaten. DiffQKV-Aufmerksamkeit verbessert signifikant die Inferenzeffizienz von Sigma, indem sie die Query (Q), Key (K) und Value (V) Komponenten im Aufmerksamkeitsmechanismus differentiell optimiert, basierend auf ihren unterschiedlichen Auswirkungen auf die Modellleistung und Effizienzindikatoren. Speziell führen wir (1) umfangreiche Experimente durch, die die unterschiedliche Sensitivität des Modells gegenüber der Kompression der K- und V-Komponenten zeigen, was zur Entwicklung von differentiell komprimierten KV führt, und (2) schlagen wir eine erweiterte Q vor, um die Q-Kopf-Dimension zu erweitern, was die Repräsentationskapazität des Modells mit minimalen Auswirkungen auf die Inferenzgeschwindigkeit verbessert. Rigorose theoretische und empirische Analysen zeigen, dass DiffQKV-Aufmerksamkeit die Effizienz signifikant verbessert, mit einer Verbesserung der Inferenzgeschwindigkeit um bis zu 33,36% gegenüber der herkömmlichen gruppierten Query-Aufmerksamkeit (GQA) in Szenarien mit langem Kontext. Wir trainieren Sigma auf 6T Token aus verschiedenen Quellen, einschließlich 19,5B Systemdomänendaten, die wir sorgfältig sammeln, und 1T Token synthetisierter und umgeschriebener Daten. In allgemeinen Domänen erreicht Sigma vergleichbare Leistungen wie andere State-of-the-Art-Modelle. In der Systemdomäne stellen wir den ersten umfassenden Benchmark AIMicius vor, bei dem Sigma über alle Aufgaben hinweg bemerkenswerte Leistungen zeigt und GPT-4 signifikant übertrifft, mit einer absoluten Verbesserung von bis zu 52,5%.

English

We introduce Sigma, an efficient large language model specialized for the system domain, empowered by a novel architecture including DiffQKV attention, and pre-trained on our meticulously collected system domain data. DiffQKV attention significantly enhances the inference efficiency of Sigma by optimizing the Query (Q), Key (K), and Value (V) components in the attention mechanism differentially, based on their varying impacts on the model performance and efficiency indicators. Specifically, we (1) conduct extensive experiments that demonstrate the model's varying sensitivity to the compression of K and V components, leading to the development of differentially compressed KV, and (2) propose augmented Q to expand the Q head dimension, which enhances the model's representation capacity with minimal impacts on the inference speed. Rigorous theoretical and empirical analyses reveal that DiffQKV attention significantly enhances efficiency, achieving up to a 33.36% improvement in inference speed over the conventional grouped-query attention (GQA) in long-context scenarios. We pre-train Sigma on 6T tokens from various sources, including 19.5B system domain data that we carefully collect and 1T tokens of synthesized and rewritten data. In general domains, Sigma achieves comparable performance to other state-of-arts models. In the system domain, we introduce the first comprehensive benchmark AIMicius, where Sigma demonstrates remarkable performance across all tasks, significantly outperforming GPT-4 with an absolute improvement up to 52.5%.