메모리 기반 언어 모델: 효율적이고 설명 가능하며 환경 친화적인 대규모 언어 모델링 접근법

초록

메모리 기반 언어 모델링을 딥 뉴럴 네트워크 기반 언어 모델링의 효율적이고 친환경적인 대안으로 제시합니다. 이 방법은 로그 선형적으로 확장 가능한 다음 토큰 예측 성능과 강력한 기억 능력을 제공합니다. 빠른 k-최근접 이웃 분류 근사법을 구현한 메모리 기반 언어 모델링은 훈련 및 추론 모드 모두에서 CPU에만 의존하고 낮은 토큰 지연 시간을 달성하여 상대적으로 작은 생태학적 발자국을 남깁니다. 그 내부 작동 방식은 단순하고 완전히 투명합니다. 메모리 기반 언어 모델링의 우리 구현체인 OLIFANT를 GPT-2 및 GPT-Neo와 다음 토큰 예측 정확도, 추정 배출량 및 속도 측면에서 비교하고 모델에 대한 몇 가지 심층 분석을 제공합니다.

English

We present memory-based language modeling as an efficient, eco-friendly alternative to deep neural network-based language modeling. It offers log-linearly scalable next-token prediction performance and strong memorization capabilities. Implementing fast approximations of k-nearest neighbor classification, memory-based language modeling leaves a relatively small ecological footprint both in training and in inference mode, as it relies fully on CPUs and attains low token latencies. Its internal workings are simple and fully transparent. We compare our implementation of memory-based language modeling, OLIFANT, with GPT-2 and GPT-Neo on next-token prediction accuracy, estimated emissions and speeds, and offer some deeper analyses of the model.

메모리 기반 언어 모델: 효율적이고 설명 가능하며 환경 친화적인 대규모 언어 모델링 접근법

Memory-based Language Models: An Efficient, Explainable, and Eco-friendly Approach to Large Language Modeling

초록

Support