Modèles de langage à base de mémoire : une approche efficace, explicable et écologique de la modélisation linguistique à grande échelle
Memory-based Language Models: An Efficient, Explainable, and Eco-friendly Approach to Large Language Modeling
October 25, 2025
papers.authors: Antal van den Bosch, Ainhoa Risco Patón, Teun Buijse, Peter Berck, Maarten van Gompel
cs.AI
papers.abstract
Nous présentons la modélisation du langage par mémoire comme une alternative efficace et écologique à la modélisation du langage basée sur les réseaux neuronaux profonds. Elle offre des performances de prédiction du token suivant évoluant de manière log-linéaire et d'excellentes capacités de mémorisation. En mettant en œuvre des approximations rapides de la classification par k-plus proches voisins, la modélisation du langage par mémoire laisse une empreinte écologique relativement faible tant à l'entraînement qu'en inférence, puisqu'elle repose entièrement sur les CPU et atteint de faibles latences par token. Son fonctionnement interne est simple et entièrement transparent. Nous comparons notre implémentation de la modélisation du langage par mémoire, OLIFANT, avec GPT-2 et GPT-Neo sur la précision de prédiction du token suivant, les émissions estimées et les vitesses, et proposons des analyses plus approfondies du modèle.
English
We present memory-based language modeling as an efficient, eco-friendly
alternative to deep neural network-based language modeling. It offers
log-linearly scalable next-token prediction performance and strong memorization
capabilities. Implementing fast approximations of k-nearest neighbor
classification, memory-based language modeling leaves a relatively small
ecological footprint both in training and in inference mode, as it relies fully
on CPUs and attains low token latencies. Its internal workings are simple and
fully transparent. We compare our implementation of memory-based language
modeling, OLIFANT, with GPT-2 and GPT-Neo on next-token prediction accuracy,
estimated emissions and speeds, and offer some deeper analyses of the model.