MeKi: Инъекция экспертных знаний на основе памяти для эффективного масштабирования больших языковых моделей

MeKi: Memory-based Expert Knowledge Injection for Efficient LLM Scaling

February 3, 2026

Авторы: Ning Ding, Fangcheng Liu, Kyungrae Kim, Linji Hao, Kyeng-Hun Lee, Hyeonmok Ko, Yehui Tang

cs.AI

Аннотация

Масштабирование больших языковых моделей (LLM) традиционно основывается на увеличении количества параметров или вычислительных затрат на этапе инференса для повышения производительности. Однако эти стратегии неприменимы для развертывания на периферийных устройствах из-за ограниченных ресурсов оперативной памяти и нейропроцессоров. Несмотря на аппаратные ограничения, развертывание производительных LLM на периферийных устройствах, таких как смартфоны, остается критически важным для пользовательского опыта. Для решения этой проблемы мы предлагаем MeKi (Memory-based Expert Knowledge Injection) — новую систему, которая масштабирует емкость LLM за счет пространства хранения, а не FLOP-операций. MeKi оснащает каждый слой Transformer токен-уровневыми memory-экспертами, которые внедряют предварительно сохраненные семантические знания в процесс генерации. Для преодоления разрыва между емкостью обучения и эффективностью вывода мы используем стратегию репараметризации, сворачивая матрицы параметров, используемые во время обучения, в компактную статическую таблицу поиска. Перемещая знания в ПЗУ, MeKi отделяет емкость модели от вычислительных затрат, не внося дополнительной задержки при выводе. Многочисленные эксперименты демонстрируют, что MeKi значительно превосходит базовые плотные LLM при идентичной скорости вывода, подтверждая эффективность парадигмы масштабирования на основе памяти для он-девайс LLM. Страница проекта доступна по адресу https://github.com/ningding-o/MeKi.

English

Scaling Large Language Models (LLMs) typically relies on increasing the number of parameters or test-time computations to boost performance. However, these strategies are impractical for edge device deployment due to limited RAM and NPU resources. Despite hardware constraints, deploying performant LLM on edge devices such as smartphone remains crucial for user experience. To address this, we propose MeKi (Memory-based Expert Knowledge Injection), a novel system that scales LLM capacity via storage space rather than FLOPs. MeKi equips each Transformer layer with token-level memory experts that injects pre-stored semantic knowledge into the generation process. To bridge the gap between training capacity and inference efficiency, we employ a re-parameterization strategy to fold parameter matrices used during training into a compact static lookup table. By offloading the knowledge to ROM, MeKi decouples model capacity from computational cost, introducing zero inference latency overhead. Extensive experiments demonstrate that MeKi significantly outperforms dense LLM baselines with identical inference speed, validating the effectiveness of memory-based scaling paradigm for on-device LLMs. Project homepage is at https://github.com/ningding-o/MeKi.