MeKi: Injeção de Conhecimento Especializado Baseada em Memória para Escalonamento Eficiente de LLMs
MeKi: Memory-based Expert Knowledge Injection for Efficient LLM Scaling
February 3, 2026
Autores: Ning Ding, Fangcheng Liu, Kyungrae Kim, Linji Hao, Kyeng-Hun Lee, Hyeonmok Ko, Yehui Tang
cs.AI
Resumo
A escalabilidade de Grandes Modelos de Linguagem (LLMs) geralmente depende do aumento do número de parâmetros ou das computações em tempo de teste para melhorar o desempenho. No entanto, essas estratégias são impraticáveis para implantação em *edge devices* devido aos recursos limitados de RAM e NPU. Apesar das restrições de hardware, a implantação de LLMs de alto desempenho em dispositivos de borda, como smartphones, permanece crucial para a experiência do usuário. Para resolver isso, propomos o MeKi (*Memory-based Expert Knowledge Injection*), um sistema inovador que dimensiona a capacidade do LLM por meio de espaço de armazenamento, e não de FLOPS. O MeKi equipa cada camada do Transformer com especialistas de memória em nível de *token* que injetam conhecimento semântico pré-armazenado no processo de geração. Para preencher a lacuna entre a capacidade de treinamento e a eficiência de inferência, empregamos uma estratégia de reparametrização para dobrar as matrizes de parâmetros usadas durante o treinamento em uma tabela de consulta estática e compacta. Ao descarregar o conhecimento para a ROM, o MeKi desacopla a capacidade do modelo do custo computacional, introduzindo zero sobrecarga de latência de inferência. Experimentos extensivos demonstram que o MeKi supera significativamente as linhas de base de LLMs densos com velocidade de inferência idêntica, validando a eficácia do paradigma de escalabilidade baseado em memória para LLMs em dispositivo. A página inicial do projeto está em https://github.com/ningding-o/MeKi.
English
Scaling Large Language Models (LLMs) typically relies on increasing the number of parameters or test-time computations to boost performance. However, these strategies are impractical for edge device deployment due to limited RAM and NPU resources. Despite hardware constraints, deploying performant LLM on edge devices such as smartphone remains crucial for user experience. To address this, we propose MeKi (Memory-based Expert Knowledge Injection), a novel system that scales LLM capacity via storage space rather than FLOPs. MeKi equips each Transformer layer with token-level memory experts that injects pre-stored semantic knowledge into the generation process. To bridge the gap between training capacity and inference efficiency, we employ a re-parameterization strategy to fold parameter matrices used during training into a compact static lookup table. By offloading the knowledge to ROM, MeKi decouples model capacity from computational cost, introducing zero inference latency overhead. Extensive experiments demonstrate that MeKi significantly outperforms dense LLM baselines with identical inference speed, validating the effectiveness of memory-based scaling paradigm for on-device LLMs. Project homepage is at https://github.com/ningding-o/MeKi.