NGM: Модуль памяти для LLM, не требующий обучения и работающий по принципу plug-and-play

Аннотация

Недавние исследования представляют модули условной памяти, которые разделяют хранение знаний и нейронные вычисления, обеспечивая более прямой доступ к знаниям. По сравнению со смесью экспертов (MoE), опирающейся на динамические вычислительные пути, прямой поиск предлагает более эффективный механизм извлечения знаний. Однако такие подходы по-прежнему зависят от обученных вложений памяти, что требует дополнительного обучения и ограничивает гибкость. Для решения этой проблемы мы предлагаем N-граммную память (NGM) — не требующий обучения подключаемый модуль, состоящий из причинного N-граммного кодера (Causal N-Gram Encoder) и инжектора памяти с косинусным гейтом (Cosine-Gated Memory Injector). Причинный N-граммный кодер напрямую усредняет предобученные вложения токенов базовой модели для построения N-граммных представлений, тем самым устраняя необходимость в отдельном обучении N-граммных вложений с нуля. Такая конструкция не требует ни дополнительной таблицы памяти, ни конвейера поиска. Затем инжектор памяти с косинусным гейтом использует непараметрический косинусный гейт с ReLU для модуляции извлеченных вложений в контекстные представления. Мы оцениваем NGM на серии моделей Qwen3 от 0,6B до 14B по восьми бенчмаркам. NGM улучшает среднюю производительность на 0,5–1,2 балла, причем особенно заметные улучшения наблюдаются в задачах генерации кода и задачах, требующих знаний (например, +3,0 на LiveCodeBench и +3,03 на GPQA для Qwen3-14B). Кроме того, NGM также повышает производительность в мультимодальных бенчмарках (например, MMStar +1,53 на Qwen3-VL-2B).

English

Recent studies introduce conditional memory modules that decouple knowledge storage from neural computation, enabling more direct knowledge access. Compared to MoE, which relies on dynamic computation paths, explicit lookup provides a more efficient knowledge retrieval mechanism. However, these approaches still depend on learned memory embeddings, requiring additional training and limiting flexibility. To address this, we propose N-gram Memory (NGM), a training-free, plug-and-play module composed of a Causal N-Gram Encoder and a Cosine-Gated Memory Injector. The Causal N-Gram Encoder directly averages the pretrained token embeddings of the backbone model to construct N-gram representations, thereby eliminating the need to train separate N-gram embeddings from scratch. This design requires neither an additional memory table nor a retrieval pipeline. The Cosine-Gated Memory Injector then uses a non-parametric cosine gate with ReLU to modulate the retrieved embeddings into the contextual representations. We evaluate NGM on the Qwen3 series from 0.6B to 14B across eight benchmarks. NGM improves average performance by 0.5 to 1.2 points, with particularly clear gains on code generation and knowledge-intensive tasks (e.g., +3.0 on LiveCodeBench and +3.03 on GPQA for Qwen3-14B). Moreover, NGM also improves performance in multimodal benchmarks (e.g., MMStar +1.53 on Qwen3-VL-2B).