Языковые модели на основе памяти: эффективный, интерпретируемый и экологичный подход к созданию больших языковых моделей
Memory-based Language Models: An Efficient, Explainable, and Eco-friendly Approach to Large Language Modeling
October 25, 2025
Авторы: Antal van den Bosch, Ainhoa Risco Patón, Teun Buijse, Peter Berck, Maarten van Gompel
cs.AI
Аннотация
Мы представляем языковое моделирование на основе памяти как эффективную и экологичную альтернативу языковому моделированию на основе глубоких нейронных сетей. Оно обеспечивает логарифмически-линейно масштабируемую производительность предсказания следующего токена и мощные возможности запоминания. Реализуя быстрые аппроксимации классификации методом k-ближайших соседей, языковое моделирование на основе памяти оставляет относительно небольшой экологический след как в режиме обучения, так и в режиме вывода, поскольку полностью полагается на центральные процессоры и достигает низких задержек при обработке токенов. Его внутреннее устройство просто и полностью прозрачно. Мы сравниваем нашу реализацию языкового моделирования на основе памяти, OLIFANT, с моделями GPT-2 и GPT-Neo по точности предсказания следующего токена, оцененным выбросам и скорости, а также предлагаем более глубокий анализ модели.
English
We present memory-based language modeling as an efficient, eco-friendly
alternative to deep neural network-based language modeling. It offers
log-linearly scalable next-token prediction performance and strong memorization
capabilities. Implementing fast approximations of k-nearest neighbor
classification, memory-based language modeling leaves a relatively small
ecological footprint both in training and in inference mode, as it relies fully
on CPUs and attains low token latencies. Its internal workings are simple and
fully transparent. We compare our implementation of memory-based language
modeling, OLIFANT, with GPT-2 and GPT-Neo on next-token prediction accuracy,
estimated emissions and speeds, and offer some deeper analyses of the model.