MeKi: Geheugengebaseerde injectie van expertkennis voor efficiënte schaalvergroting van grote taalmodel
MeKi: Memory-based Expert Knowledge Injection for Efficient LLM Scaling
February 3, 2026
Auteurs: Ning Ding, Fangcheng Liu, Kyungrae Kim, Linji Hao, Kyeng-Hun Lee, Hyeonmok Ko, Yehui Tang
cs.AI
Samenvatting
Het schalen van Large Language Models (LLM's) vereist doorgaans een toename van het aantal parameters of testtijdberekeningen om de prestaties te verbeteren. Deze strategieën zijn echter onpraktisch voor implementatie op edge-apparaten vanwege beperkte RAM- en NPU-bronnen. Ondanks de hardwarebeperkingen blijft de implementatie van krachtige LLM's op edge-apparaten zoals smartphones cruciaal voor de gebruikerservaring. Om dit aan te pakken, stellen we MeKi (Memory-based Expert Knowledge Injection) voor, een nieuw systeem dat de capaciteit van LLM's schaalt via opslagruimte in plaats van FLOPs. MeKi rust elke Transformer-laag uit met token-level geheugenexperts die vooraf opgeslagen semantische kennis injecteren in het generatieproces. Om de kloof tussen trainingscapaciteit en inferentie-efficiëntie te overbruggen, gebruiken we een herparameterisatiestrategie om parameter matrices die tijdens de training worden gebruikt, te vouwen in een compacte statische opzoektabel. Door de kennis naar ROM uit te besteden, ontkoppelt MeKi de modelcapaciteit van de rekenkosten, zonder enige vertraging in de inferentielatentie. Uitgebreide experimenten tonen aan dat MeKi aanzienlijk beter presteert dan dichte LLM-baselines met identieke inferentiesnelheid, wat de effectiviteit van het op geheugen gebaseerde schaalparadigma voor on-device LLM's valideert. De projectwebsite is te vinden op https://github.com/ningding-o/MeKi.
English
Scaling Large Language Models (LLMs) typically relies on increasing the number of parameters or test-time computations to boost performance. However, these strategies are impractical for edge device deployment due to limited RAM and NPU resources. Despite hardware constraints, deploying performant LLM on edge devices such as smartphone remains crucial for user experience. To address this, we propose MeKi (Memory-based Expert Knowledge Injection), a novel system that scales LLM capacity via storage space rather than FLOPs. MeKi equips each Transformer layer with token-level memory experts that injects pre-stored semantic knowledge into the generation process. To bridge the gap between training capacity and inference efficiency, we employ a re-parameterization strategy to fold parameter matrices used during training into a compact static lookup table. By offloading the knowledge to ROM, MeKi decouples model capacity from computational cost, introducing zero inference latency overhead. Extensive experiments demonstrate that MeKi significantly outperforms dense LLM baselines with identical inference speed, validating the effectiveness of memory-based scaling paradigm for on-device LLMs. Project homepage is at https://github.com/ningding-o/MeKi.