Modelli Linguistici Basati sulla Memoria: un Approccio Efficiente, Spiegabile ed Ecocompatibile alla Modellazione del Linguaggio su Larga Scala

Memory-based Language Models: An Efficient, Explainable, and Eco-friendly Approach to Large Language Modeling

October 25, 2025

Autori: Antal van den Bosch, Ainhoa Risco Patón, Teun Buijse, Peter Berck, Maarten van Gompel

cs.AI

Abstract

Presentiamo la modellazione linguistica basata su memoria come alternativa efficiente ed ecologicamente sostenibile alla modellazione linguistica basata su reti neurali profonde. Offre prestazioni scalabili in modo log-lineare per la previsione del token successivo e solide capacità di memorizzazione. Implementando approssimazioni veloci della classificazione k-nearest neighbor, la modellazione linguistica basata su memoria lascia un'impronta ecologica relativamente ridotta sia in fase di addestramento che di inferenza, poiché si basa interamente su CPU e raggiunge basse latenze per token. Il suo funzionamento interno è semplice e completamente trasparente. Confrontiamo la nostra implementazione di modellazione linguistica basata su memoria, OLIFANT, con GPT-2 e GPT-Neo in termini di accuratezza nella previsione del token successivo, emissioni stimate e velocità, e offriamo alcune analisi più approfondite del modello.

English

We present memory-based language modeling as an efficient, eco-friendly alternative to deep neural network-based language modeling. It offers log-linearly scalable next-token prediction performance and strong memorization capabilities. Implementing fast approximations of k-nearest neighbor classification, memory-based language modeling leaves a relatively small ecological footprint both in training and in inference mode, as it relies fully on CPUs and attains low token latencies. Its internal workings are simple and fully transparent. We compare our implementation of memory-based language modeling, OLIFANT, with GPT-2 and GPT-Neo on next-token prediction accuracy, estimated emissions and speeds, and offer some deeper analyses of the model.