Sprachmodelle auf Speicherbasis: Ein effizienter, erklärbarer und umweltfreundlicher Ansatz für große Sprachmodelle
Memory-based Language Models: An Efficient, Explainable, and Eco-friendly Approach to Large Language Modeling
October 25, 2025
papers.authors: Antal van den Bosch, Ainhoa Risco Patón, Teun Buijse, Peter Berck, Maarten van Gompel
cs.AI
papers.abstract
Wir präsentieren modellbasierte Sprachmodellierung als eine effiziente, umweltfreundliche Alternative zu sprachlicher Modellierung auf Basis tiefer neuronaler Netze. Sie bietet eine logarithmisch skalierbare Leistung bei der Next-Token-Prädiktion sowie starke Memorierungsfähigkeiten. Durch die Implementierung schneller Approximationen der k-nächste-Nachbarn-Klassifikation hinterlässt die modellbasierte Sprachmodellierung sowohl im Trainings- als auch im Inferenzmodus einen relativ kleinen ökologischen Fußabdruck, da sie vollständig auf CPUs basiert und niedrige Token-Latenzzeiten erreicht. Ihre interne Funktionsweise ist einfach und vollständig transparent. Wir vergleichen unsere Implementierung der modellbasierten Sprachmodellierung, OLIFANT, mit GPT-2 und GPT-Neo hinsichtlich der Next-Token-Prädiktionsgenauigkeit, geschätzter Emissionen und Geschwindigkeiten und bieten einige tiefgehende Analysen des Modells.
English
We present memory-based language modeling as an efficient, eco-friendly
alternative to deep neural network-based language modeling. It offers
log-linearly scalable next-token prediction performance and strong memorization
capabilities. Implementing fast approximations of k-nearest neighbor
classification, memory-based language modeling leaves a relatively small
ecological footprint both in training and in inference mode, as it relies fully
on CPUs and attains low token latencies. Its internal workings are simple and
fully transparent. We compare our implementation of memory-based language
modeling, OLIFANT, with GPT-2 and GPT-Neo on next-token prediction accuracy,
estimated emissions and speeds, and offer some deeper analyses of the model.