Modelos de Lenguaje Basados en Memoria: Un Enfoque Eficiente, Explicable y Ecológico para el Modelado de Lenguaje a Gran Escala
Memory-based Language Models: An Efficient, Explainable, and Eco-friendly Approach to Large Language Modeling
October 25, 2025
Autores: Antal van den Bosch, Ainhoa Risco Patón, Teun Buijse, Peter Berck, Maarten van Gompel
cs.AI
Resumen
Presentamos el modelado lingüístico basado en memoria como una alternativa eficiente y respetuosa con el medio ambiente al modelado lingüístico basado en redes neuronales profundas. Ofrece un rendimiento escalable logarítmicamente en la predicción del siguiente token y una gran capacidad de memorización. Mediante la implementación de aproximaciones rápidas de clasificación por k-vecinos más cercanos, el modelado lingüístico basado en memoria deja una huella ecológica relativamente pequeña tanto en el entrenamiento como en la inferencia, ya que depende completamente de las CPU y alcanza bajas latencias por token. Su funcionamiento interno es simple y totalmente transparente. Comparamos nuestra implementación del modelado lingüístico basado en memoria, OLIFANT, con GPT-2 y GPT-Neo en cuanto a precisión en la predicción del siguiente token, emisiones estimadas y velocidades, y ofrecemos algunos análisis más profundos del modelo.
English
We present memory-based language modeling as an efficient, eco-friendly
alternative to deep neural network-based language modeling. It offers
log-linearly scalable next-token prediction performance and strong memorization
capabilities. Implementing fast approximations of k-nearest neighbor
classification, memory-based language modeling leaves a relatively small
ecological footprint both in training and in inference mode, as it relies fully
on CPUs and attains low token latencies. Its internal workings are simple and
fully transparent. We compare our implementation of memory-based language
modeling, OLIFANT, with GPT-2 and GPT-Neo on next-token prediction accuracy,
estimated emissions and speeds, and offer some deeper analyses of the model.