Geheugen-gebaseerde taalmodellen: een efficiënte, verklaarbare en milieuvriendelijke benadering van grootschalige taalmodelering
Memory-based Language Models: An Efficient, Explainable, and Eco-friendly Approach to Large Language Modeling
October 25, 2025
Auteurs: Antal van den Bosch, Ainhoa Risco Patón, Teun Buijse, Peter Berck, Maarten van Gompel
cs.AI
Samenvatting
Wij presenteren geheugen-gebaseerd taalmodelleren als een efficiënt, milieuvriendelijk alternatief voor taalmodellering op basis van diepe neurale netwerken. Het biedt logaritmisch-lineair schaalbare prestaties voor next-token-voorspelling en sterke memorisatiecapaciteiten. Door snelle benaderingen van k-dichtstbijzijnde-buurclassificatie te implementeren, laat geheugen-gebaseerd taalmodelleren een relatief kleine ecologische voetafdruk achter, zowel tijdens training als tijdens inferentie, omdat het volledig op CPU's draait en lage tokenlatenties bereikt. De interne werking is eenvoudig en volledig transparant. Wij vergelijken onze implementatie van geheugen-gebaseerd taalmodelleren, OLIFANT, met GPT-2 en GPT-Neo op next-token-voorspellingsnauwkeurigheid, geschatte emissies en snelheden, en bieden enkele diepere analyses van het model.
English
We present memory-based language modeling as an efficient, eco-friendly
alternative to deep neural network-based language modeling. It offers
log-linearly scalable next-token prediction performance and strong memorization
capabilities. Implementing fast approximations of k-nearest neighbor
classification, memory-based language modeling leaves a relatively small
ecological footprint both in training and in inference mode, as it relies fully
on CPUs and attains low token latencies. Its internal workings are simple and
fully transparent. We compare our implementation of memory-based language
modeling, OLIFANT, with GPT-2 and GPT-Neo on next-token prediction accuracy,
estimated emissions and speeds, and offer some deeper analyses of the model.