Sigma: Ridimensionamento Differenziale di Query, Chiave e Valore per Modelli Linguistici Efficienti

Sigma: Differential Rescaling of Query, Key and Value for Efficient Language Models

January 23, 2025

Autori: Zhenghao Lin, Zihao Tang, Xiao Liu, Yeyun Gong, Yi Cheng, Qi Chen, Hang Li, Ying Xin, Ziyue Yang, Kailai Yang, Yu Yan, Xiao Liang, Shuai Lu, Yiming Huang, Zheheng Luo, Lei Qu, Xuan Feng, Yaoxiang Wang, Yuqing Xia, Feiyang Chen, Yuting Jiang, Yasen Hu, Hao Ni, Binyang Li, Guoshuai Zhao, Jui-Hao Chiang, Zhongxin Guo, Chen Lin, Kun Kuang, Wenjie Li, Yelong Shen, Jian Jiao, Peng Cheng, Mao Yang

cs.AI

Abstract

Presentiamo Sigma, un efficiente modello linguistico di grandi dimensioni specializzato per il dominio di sistema, potenziato da un'architettura innovativa che include l'attenzione DiffQKV, e pre-addestrato sui nostri dati del dominio di sistema raccolti meticolosamente. L'attenzione DiffQKV migliora significativamente l'efficienza inferenziale di Sigma ottimizzando in modo differenziale i componenti Query (Q), Key (K) e Value (V) nel meccanismo di attenzione, in base ai loro diversi impatti sulle prestazioni del modello e sugli indicatori di efficienza. In particolare, (1) conduciamo ampi esperimenti che dimostrano la sensibilità variabile del modello alla compressione dei componenti K e V, portando allo sviluppo di KV compressi in modo differenziale, e (2) proponiamo Q aumentati per espandere la dimensione della testa Q, che migliora la capacità di rappresentazione del modello con minimi impatti sulla velocità di inferenza. Rigorose analisi teoriche ed empiriche rivelano che l'attenzione DiffQKV migliora significativamente l'efficienza, ottenendo fino a un miglioramento del 33,36% nella velocità di inferenza rispetto all'attenzione di query raggruppate convenzionale (GQA) in scenari di contesto lungo. Pre-addestriamo Sigma su 6T token da varie fonti, inclusi 19,5B di dati del dominio di sistema che abbiamo raccolto attentamente e 1T di token di dati sintetizzati e riscritti. Nei domini generali, Sigma raggiunge prestazioni comparabili ad altri modelli all'avanguardia. Nel dominio di sistema, presentiamo il primo benchmark completo AIMicius, dove Sigma dimostra prestazioni notevoli su tutte le attività, superando significativamente GPT-4 con un miglioramento assoluto fino al 52,5%.

English

We introduce Sigma, an efficient large language model specialized for the system domain, empowered by a novel architecture including DiffQKV attention, and pre-trained on our meticulously collected system domain data. DiffQKV attention significantly enhances the inference efficiency of Sigma by optimizing the Query (Q), Key (K), and Value (V) components in the attention mechanism differentially, based on their varying impacts on the model performance and efficiency indicators. Specifically, we (1) conduct extensive experiments that demonstrate the model's varying sensitivity to the compression of K and V components, leading to the development of differentially compressed KV, and (2) propose augmented Q to expand the Q head dimension, which enhances the model's representation capacity with minimal impacts on the inference speed. Rigorous theoretical and empirical analyses reveal that DiffQKV attention significantly enhances efficiency, achieving up to a 33.36% improvement in inference speed over the conventional grouped-query attention (GQA) in long-context scenarios. We pre-train Sigma on 6T tokens from various sources, including 19.5B system domain data that we carefully collect and 1T tokens of synthesized and rewritten data. In general domains, Sigma achieves comparable performance to other state-of-arts models. In the system domain, we introduce the first comprehensive benchmark AIMicius, where Sigma demonstrates remarkable performance across all tasks, significantly outperforming GPT-4 with an absolute improvement up to 52.5%.