Formatos de Dados em Microescala para Aprendizado Profundo

Microscaling Data Formats for Deep Learning

October 16, 2023

Autores: Bita Darvish Rouhani, Ritchie Zhao, Ankit More, Mathew Hall, Alireza Khodamoradi, Summer Deng, Dhruv Choudhary, Marius Cornea, Eric Dellinger, Kristof Denolf, Stosic Dusan, Venmugil Elango, Maximilian Golub, Alexander Heinecke, Phil James-Roxby, Dharmesh Jani, Gaurav Kolhe, Martin Langhammer, Ada Li, Levi Melnick, Maral Mesmakhosroshahi, Andres Rodriguez, Michael Schulte, Rasoul Shafipour, Lei Shao, Michael Siu, Pradeep Dubey, Paulius Micikevicius, Maxim Naumov, Colin Verilli, Ralph Wittig, Eric Chung

cs.AI

Resumo

Formatos de dados com largura de bits reduzida são fundamentais para diminuir os custos computacionais e de armazenamento das aplicações modernas de aprendizado profundo. Este artigo avalia os formatos de dados Microscaling (MX), que combinam um fator de escala por bloco com tipos de ponto flutuante e inteiro de baixa precisão para elementos individuais. Os formatos MX equilibram as necessidades concorrentes de eficiência de hardware, precisão do modelo e facilidade de uso. Resultados empíricos em mais de duas dezenas de benchmarks demonstram a praticidade dos formatos MX como uma substituição direta para o FP32 padrão em inferência e treinamento de IA, com baixa dificuldade para o usuário. Também mostramos o primeiro exemplo de treinamento de modelos generativos de linguagem com pesos, ativações e gradientes abaixo de 8 bits, com perda mínima de precisão e sem modificações na receita de treinamento.

English

Narrow bit-width data formats are key to reducing the computational and storage costs of modern deep learning applications. This paper evaluates Microscaling (MX) data formats that combine a per-block scaling factor with narrow floating-point and integer types for individual elements.MX formats balance the competing needs of hardware efficiency, model accuracy, and user friction. Empirical results on over two dozen benchmarks demonstrate practicality of MX data formats as a drop-in replacement for baseline FP32 for AI inference and training with low user friction. We also show the first instance of training generative language models at sub-8-bit weights, activations, and gradients with minimal accuracy loss and no modifications to the training recipe.