MeKi: Gedächtnisbasierte Einspritzung von Expertenwissen für effiziente Skalierung großer Sprachmodelle

MeKi: Memory-based Expert Knowledge Injection for Efficient LLM Scaling

February 3, 2026

Autoren: Ning Ding, Fangcheng Liu, Kyungrae Kim, Linji Hao, Kyeng-Hun Lee, Hyeonmok Ko, Yehui Tang

cs.AI

Zusammenfassung

Die Skalierung großer Sprachmodelle (LLM) basiert typischerweise auf der Erhöhung der Parameteranzahl oder von Testzeit-Berechnungen, um die Leistung zu steigern. Diese Strategien sind jedoch für den Einsatz auf Edge-Geräten aufgrund begrenzter RAM- und NPU-Ressourcen unpraktikabel. Trotz dieser Hardwareeinschränkungen ist die Bereitstellung leistungsstarker LLMs auf Edge-Geräten wie Smartphones entscheidend für die Benutzererfahrung. Um dieses Problem zu lösen, schlagen wir MeKi (Memory-based Expert Knowledge Injection) vor, ein neuartiges System, das die LLM-Kapazität über Speicherplatz statt über FLOPs skaliert. MeKi stattet jede Transformer-Schicht mit token-basierten Speicher-Experten aus, die vorab gespeichertes semantisches Wissen in den Generierungsprozess einspielen. Um die Lücke zwischen Trainingskapazität und Inferenzeffizienz zu überbrücken, verwenden wir eine Re-Parametrisierungsstrategie, um während des Trainings verwendete Parametermatrizen in eine kompakte, statische Nachschlagetabelle zu falten. Indem das Wissen in den ROM ausgelagert wird, entkoppelt MeKi die Modellkapazität von den Berechnungskosten und verursacht keinen Overhead bei der Inferenzlatenz. Umfangreiche Experimente zeigen, dass MeKi dichte LLM-Baselines mit identischer Inferenzgeschwindigkeit signifikant übertrifft, was die Wirksamkeit des speicherbasierten Skalierungsparadigmas für On-Device-LLMs validiert. Die Projektwebseite ist unter https://github.com/ningding-o/MeKi verfügbar.

English

Scaling Large Language Models (LLMs) typically relies on increasing the number of parameters or test-time computations to boost performance. However, these strategies are impractical for edge device deployment due to limited RAM and NPU resources. Despite hardware constraints, deploying performant LLM on edge devices such as smartphone remains crucial for user experience. To address this, we propose MeKi (Memory-based Expert Knowledge Injection), a novel system that scales LLM capacity via storage space rather than FLOPs. MeKi equips each Transformer layer with token-level memory experts that injects pre-stored semantic knowledge into the generation process. To bridge the gap between training capacity and inference efficiency, we employ a re-parameterization strategy to fold parameter matrices used during training into a compact static lookup table. By offloading the knowledge to ROM, MeKi decouples model capacity from computational cost, introducing zero inference latency overhead. Extensive experiments demonstrate that MeKi significantly outperforms dense LLM baselines with identical inference speed, validating the effectiveness of memory-based scaling paradigm for on-device LLMs. Project homepage is at https://github.com/ningding-o/MeKi.