Formati di dati a micro-scala per l'apprendimento profondo

Abstract

I formati di dati a bit-width ridotto sono fondamentali per ridurre i costi computazionali e di archiviazione delle moderne applicazioni di deep learning. Questo articolo valuta i formati di dati Microscaling (MX), che combinano un fattore di scalatura per blocco con tipi a virgola mobile e interi a bit ridotti per i singoli elementi. I formati MX bilanciano le esigenze concorrenti di efficienza hardware, accuratezza del modello e attrito per l'utente. I risultati empirici su oltre due dozzine di benchmark dimostrano la praticità dei formati MX come sostituto diretto del formato FP32 di base per l'inferenza e l'addestramento AI con un basso attrito per l'utente. Mostriamo inoltre il primo esempio di addestramento di modelli linguistici generativi con pesi, attivazioni e gradienti a meno di 8 bit, con una perdita minima di accuratezza e senza modifiche alla procedura di addestramento.

English

Narrow bit-width data formats are key to reducing the computational and storage costs of modern deep learning applications. This paper evaluates Microscaling (MX) data formats that combine a per-block scaling factor with narrow floating-point and integer types for individual elements.MX formats balance the competing needs of hardware efficiency, model accuracy, and user friction. Empirical results on over two dozen benchmarks demonstrate practicality of MX data formats as a drop-in replacement for baseline FP32 for AI inference and training with low user friction. We also show the first instance of training generative language models at sub-8-bit weights, activations, and gradients with minimal accuracy loss and no modifications to the training recipe.

Formati di dati a micro-scala per l'apprendimento profondo

Microscaling Data Formats for Deep Learning

Abstract

Support