Modellamento del Linguaggio Esponenzialmente Più Veloce

Exponentially Faster Language Modelling

November 15, 2023

Autori: Peter Belcak, Roger Wattenhofer

cs.AI

Abstract

I modelli linguistici hanno effettivamente bisogno di utilizzare solo una frazione esponenziale dei loro neuroni per inferenze individuali. Come prova, presentiamo FastBERT, una variante di BERT che utilizza lo 0,3% dei suoi neuroni durante l'inferenza, pur ottenendo prestazioni paragonabili a modelli BERT simili. FastBERT attiva selettivamente solo 12 neuroni su 4095 per ogni inferenza a livello. Questo risultato è ottenuto sostituendo le reti feedforward con reti feedforward veloci (FFFs). Sebbene non esista attualmente un'implementazione veramente efficiente in grado di sbloccare il pieno potenziale di accelerazione dell'esecuzione neurale condizionale, forniamo un codice ad alto livello per CPU che raggiunge un'accelerazione di 78x rispetto all'implementazione ottimizzata di base delle reti feedforward, e un'implementazione in PyTorch che offre un'accelerazione di 40x rispetto all'inferenza feedforward equivalente in batch. Pubblichiamo il nostro codice di addestramento, la configurazione di benchmarking e i pesi del modello.

English

Language models only really need to use an exponential fraction of their neurons for individual inferences. As proof, we present FastBERT, a BERT variant that uses 0.3\% of its neurons during inference while performing on par with similar BERT models. FastBERT selectively engages just 12 out of 4095 neurons for each layer inference. This is achieved by replacing feedforward networks with fast feedforward networks (FFFs). While no truly efficient implementation currently exists to unlock the full acceleration potential of conditional neural execution, we provide high-level CPU code achieving 78x speedup over the optimized baseline feedforward implementation, and a PyTorch implementation delivering 40x speedup over the equivalent batched feedforward inference. We publish our training code, benchmarking setup, and model weights.