NGM : un module de mémoire plug-and-play sans entraînement pour les grands modèles de langage

Résumé

Des études récentes introduisent des modules de mémoire conditionnelle qui découplent le stockage des connaissances du calcul neuronal, permettant un accès plus direct aux connaissances. Comparé au MoE, qui repose sur des chemins de calcul dynamiques, la recherche explicite offre un mécanisme de récupération de connaissances plus efficace. Cependant, ces approches dépendent toujours d'embeddings de mémoire appris, ce qui nécessite un entraînement supplémentaire et limite la flexibilité. Pour y remédier, nous proposons N-gram Memory (NGM), un module plug-and-play sans entraînement, composé d'un Encodeur Causal N-Gram et d'un Injecteur de Mémoire à Porte Cosinus. L'Encodeur Causal N-Gram moyenne directement les embeddings de tokens pré-entraînés du modèle de base pour construire des représentations de N-grammes, éliminant ainsi la nécessité d'entraîner des embeddings de N-grammes distincts à partir de zéro. Cette conception ne nécessite ni table de mémoire supplémentaire ni pipeline de récupération. L'Injecteur de Mémoire à Porte Cosinus utilise ensuite une porte cosinus non paramétrique avec ReLU pour moduler les embeddings récupérés dans les représentations contextuelles. Nous évaluons NGM sur la série Qwen3 de 0,6B à 14B sur huit benchmarks. NGM améliore la performance moyenne de 0,5 à 1,2 points, avec des gains particulièrement nets sur la génération de code et les tâches intensives en connaissances (par exemple, +3,0 sur LiveCodeBench et +3,03 sur GPQA pour Qwen3-14B). De plus, NGM améliore également les performances sur les benchmarks multimodaux (par exemple, +1,53 sur MMStar pour Qwen3-VL-2B).

English

Recent studies introduce conditional memory modules that decouple knowledge storage from neural computation, enabling more direct knowledge access. Compared to MoE, which relies on dynamic computation paths, explicit lookup provides a more efficient knowledge retrieval mechanism. However, these approaches still depend on learned memory embeddings, requiring additional training and limiting flexibility. To address this, we propose N-gram Memory (NGM), a training-free, plug-and-play module composed of a Causal N-Gram Encoder and a Cosine-Gated Memory Injector. The Causal N-Gram Encoder directly averages the pretrained token embeddings of the backbone model to construct N-gram representations, thereby eliminating the need to train separate N-gram embeddings from scratch. This design requires neither an additional memory table nor a retrieval pipeline. The Cosine-Gated Memory Injector then uses a non-parametric cosine gate with ReLU to modulate the retrieved embeddings into the contextual representations. We evaluate NGM on the Qwen3 series from 0.6B to 14B across eight benchmarks. NGM improves average performance by 0.5 to 1.2 points, with particularly clear gains on code generation and knowledge-intensive tasks (e.g., +3.0 on LiveCodeBench and +3.03 on GPQA for Qwen3-14B). Moreover, NGM also improves performance in multimodal benchmarks (e.g., MMStar +1.53 on Qwen3-VL-2B).