メモリベース言語モデル：大規模言語モデリングにおける効率的で説明可能かつ環境に優しいアプローチ

Memory-based Language Models: An Efficient, Explainable, and Eco-friendly Approach to Large Language Modeling

October 25, 2025

著者: Antal van den Bosch, Ainhoa Risco Patón, Teun Buijse, Peter Berck, Maarten van Gompel

cs.AI

要旨

メモリベース言語モデリングは、深層ニューラルネットワークベースの言語モデリングに対する効率的で環境に優しい代替手法として提案する。本手法は、対数線形にスケーラブルな次トークン予測性能と強力な記憶能力を提供する。k近傍分類の高速近似を実装したメモリベース言語モデリングは、CPUに完全に依存し、低いトークン遅延を達成するため、学習時と推論時の両方で比較的小さな環境負荷を残す。その内部動作は単純で完全に透明性が高い。我々はメモリベース言語モデリングの実装であるOLIFANTを、GPT-2およびGPT-Neoと、次トークン予測精度、推定排出量、速度において比較し、モデルに関するいくつかの詳細な分析を提供する。

English

We present memory-based language modeling as an efficient, eco-friendly alternative to deep neural network-based language modeling. It offers log-linearly scalable next-token prediction performance and strong memorization capabilities. Implementing fast approximations of k-nearest neighbor classification, memory-based language modeling leaves a relatively small ecological footprint both in training and in inference mode, as it relies fully on CPUs and attains low token latencies. Its internal workings are simple and fully transparent. We compare our implementation of memory-based language modeling, OLIFANT, with GPT-2 and GPT-Neo on next-token prediction accuracy, estimated emissions and speeds, and offer some deeper analyses of the model.