NGM: Um Módulo de Memória Plug-and-Play Sem Treinamento para LLMs

Resumo

Estudos recentes introduzem módulos de memória condicional que desacoplam o armazenamento de conhecimento do cálculo neural, permitindo um acesso mais direto ao conhecimento. Em comparação com o MoE, que depende de caminhos de computação dinâmica, a consulta explícita proporciona um mecanismo de recuperação de conhecimento mais eficiente. No entanto, essas abordagens ainda dependem de embeddings de memória aprendidos, exigindo treinamento adicional e limitando a flexibilidade. Para resolver isso, propomos a Memória de N-Gramas (NGM), um módulo plug-and-play livre de treinamento composto por um Codificador Causal de N-Gramas e um Injetor de Memória com Porta Cosseno. O Codificador Causal de N-Gramas calcula a média direta dos embeddings de tokens pré-treinados do modelo base para construir representações de N-gramas, eliminando assim a necessidade de treinar embeddings de N-gramas separados do zero. Este design não requer uma tabela de memória adicional nem um pipeline de recuperação. O Injetor de Memória com Porta Cosseno utiliza então uma porta cosseno não paramétrica com ReLU para modular os embeddings recuperados nas representações contextuais. Avaliamos a NGM na série Qwen3, de 0,6B a 14B, em oito benchmarks. A NGM melhora o desempenho médio em 0,5 a 1,2 pontos, com ganhos particularmente evidentes em geração de código e tarefas intensivas em conhecimento (por exemplo, +3,0 no LiveCodeBench e +3,03 no GPQA para Qwen3-14B). Além disso, a NGM também melhora o desempenho em benchmarks multimodais (por exemplo, MMStar +1,53 no Qwen3-VL-2B).

English

Recent studies introduce conditional memory modules that decouple knowledge storage from neural computation, enabling more direct knowledge access. Compared to MoE, which relies on dynamic computation paths, explicit lookup provides a more efficient knowledge retrieval mechanism. However, these approaches still depend on learned memory embeddings, requiring additional training and limiting flexibility. To address this, we propose N-gram Memory (NGM), a training-free, plug-and-play module composed of a Causal N-Gram Encoder and a Cosine-Gated Memory Injector. The Causal N-Gram Encoder directly averages the pretrained token embeddings of the backbone model to construct N-gram representations, thereby eliminating the need to train separate N-gram embeddings from scratch. This design requires neither an additional memory table nor a retrieval pipeline. The Cosine-Gated Memory Injector then uses a non-parametric cosine gate with ReLU to modulate the retrieved embeddings into the contextual representations. We evaluate NGM on the Qwen3 series from 0.6B to 14B across eight benchmarks. NGM improves average performance by 0.5 to 1.2 points, with particularly clear gains on code generation and knowledge-intensive tasks (e.g., +3.0 on LiveCodeBench and +3.03 on GPQA for Qwen3-14B). Moreover, NGM also improves performance in multimodal benchmarks (e.g., MMStar +1.53 on Qwen3-VL-2B).