Modelos de Linguagem Baseados em Memória: Uma Abordagem Eficiente, Explicável e Ecológica para Modelos de Linguagem de Grande Porte
Memory-based Language Models: An Efficient, Explainable, and Eco-friendly Approach to Large Language Modeling
October 25, 2025
Autores: Antal van den Bosch, Ainhoa Risco Patón, Teun Buijse, Peter Berck, Maarten van Gompel
cs.AI
Resumo
Apresentamos a modelagem de linguagem baseada em memória como uma alternativa eficiente e ecologicamente correta à modelagem de linguagem baseada em redes neurais profundas. Ela oferece desempenho de previsão do próximo token escalável log-linearmente e fortes capacidades de memorização. Implementando aproximações rápidas de classificação por k-vizinhos mais próximos, a modelagem de linguagem baseada em memória deixa uma pegada ecológica relativamente pequena tanto no treinamento quanto no modo de inferência, uma vez que depende totalmente de CPUs e atinge baixas latências por token. Seu funcionamento interno é simples e totalmente transparente. Comparamos nossa implementação de modelagem de linguagem baseada em memória, OLIFANT, com GPT-2 e GPT-Neo em precisão de previsão do próximo token, emissões estimadas e velocidades, e oferecemos algumas análises mais aprofundadas do modelo.
English
We present memory-based language modeling as an efficient, eco-friendly
alternative to deep neural network-based language modeling. It offers
log-linearly scalable next-token prediction performance and strong memorization
capabilities. Implementing fast approximations of k-nearest neighbor
classification, memory-based language modeling leaves a relatively small
ecological footprint both in training and in inference mode, as it relies fully
on CPUs and attains low token latencies. Its internal workings are simple and
fully transparent. We compare our implementation of memory-based language
modeling, OLIFANT, with GPT-2 and GPT-Neo on next-token prediction accuracy,
estimated emissions and speeds, and offer some deeper analyses of the model.