MeKi: Iniezione di Conoscenza Esperta basata su Memoria per un Efficiente Ridimensionamento dei LLM
MeKi: Memory-based Expert Knowledge Injection for Efficient LLM Scaling
February 3, 2026
Autori: Ning Ding, Fangcheng Liu, Kyungrae Kim, Linji Hao, Kyeng-Hun Lee, Hyeonmok Ko, Yehui Tang
cs.AI
Abstract
Il ridimensionamento dei Large Language Model (LLM) si basa tipicamente sull'aumento del numero di parametri o delle computazioni al momento del test per migliorare le prestazioni. Tuttavia, queste strategie sono impraticabili per la distribuzione su dispositivi edge a causa delle limitate risorse di RAM e NPU. Nonostante i vincoli hardware, la distribuzione di LLM performanti su dispositivi edge come gli smartphone rimane cruciale per l'esperienza utente. Per affrontare questa sfida, proponiamo MeKi (Memory-based Expert Knowledge Injection), un sistema innovativo che scala la capacità degli LLM utilizzando lo spazio di archiviazione anziché i FLOP. MeKi equipaggia ogni livello del Transformer con esperti di memoria a livello di token che iniettano conoscenza semantica pre-archiviata nel processo di generazione. Per colmare il divario tra la capacità di addestramento e l'efficienza inferenziale, utilizziamo una strategia di ri-parametrizzazione per compattare le matrici di parametri utilizzate durante l'addestramento in una tabella di ricerca statica e compatta. Scaricando la conoscenza sulla ROM, MeKi disaccoppia la capacità del modello dal costo computazionale, introducendo un overhead di latenza inferenziale pari a zero. Esperimenti estensivi dimostrano che MeKi supera significativamente i baseline di LLM densi con identica velocità inferenziale, convalidando l'efficacia del paradigma di ridimensionamento basato su memoria per gli LLM su dispositivo. La homepage del progetto è disponibile all'indirizzo https://github.com/ningding-o/MeKi.
English
Scaling Large Language Models (LLMs) typically relies on increasing the number of parameters or test-time computations to boost performance. However, these strategies are impractical for edge device deployment due to limited RAM and NPU resources. Despite hardware constraints, deploying performant LLM on edge devices such as smartphone remains crucial for user experience. To address this, we propose MeKi (Memory-based Expert Knowledge Injection), a novel system that scales LLM capacity via storage space rather than FLOPs. MeKi equips each Transformer layer with token-level memory experts that injects pre-stored semantic knowledge into the generation process. To bridge the gap between training capacity and inference efficiency, we employ a re-parameterization strategy to fold parameter matrices used during training into a compact static lookup table. By offloading the knowledge to ROM, MeKi decouples model capacity from computational cost, introducing zero inference latency overhead. Extensive experiments demonstrate that MeKi significantly outperforms dense LLM baselines with identical inference speed, validating the effectiveness of memory-based scaling paradigm for on-device LLMs. Project homepage is at https://github.com/ningding-o/MeKi.