FLIQS: Busca de Quantização em Ponto Flutuante e Inteiro de Precisão Mista em Uma Única Etapa

Resumo

A quantização tornou-se uma técnica de compressão predominante para reduzir o tamanho do modelo, os requisitos computacionais e o consumo de energia em redes neurais profundas (DNNs) modernas. Com o suporte numérico aprimorado em hardware recente, incluindo múltiplas variantes de inteiros e ponto flutuante, a quantização de precisão mista tornou-se necessária para alcançar resultados de alta qualidade com baixo custo de modelo. Métodos anteriores de quantização de precisão mista realizaram uma busca de quantização pós-treinamento, o que compromete a precisão, ou uma busca de quantização diferenciável, que resulta em alto uso de memória devido ao ramificamento. Portanto, propomos a primeira busca de quantização de precisão mista em uma única etapa que elimina a necessidade de retreinamento tanto em modelos de inteiros quanto de ponto flutuante de baixa precisão. Avaliamos nossa busca de quantização de ponto flutuante e inteiro (FLIQS) em várias redes convolucionais e modelos de transformadores de visão para descobrir modelos Pareto-ótimos. Nossa abordagem descobre modelos que superam a precisão uniforme, a precisão mista manual e os métodos recentes de busca de quantização de inteiros. Com a busca de quantização de inteiros proposta, aumentamos a precisão do ResNet-18 no ImageNet em 1,31 pontos percentuais e do ResNet-50 em 0,90 pontos percentuais com custo de modelo equivalente em relação a métodos anteriores. Além disso, pela primeira vez, exploramos uma nova busca de ponto flutuante de precisão mista e melhoramos o MobileNetV2 em até 0,98 pontos percentuais em comparação com os modelos FP8 de última geração anteriores. Por fim, estendemos o FLIQS para pesquisar simultaneamente um espaço de quantização conjunta e arquitetura neural e melhoramos a precisão do ImageNet em 2,69 pontos percentuais com custo de modelo semelhante em um espaço de busca do MobileNetV2.

English

Quantization has become a mainstream compression technique for reducing model size, computational requirements, and energy consumption for modern deep neural networks (DNNs). With the improved numerical support in recent hardware, including multiple variants of integer and floating point, mixed-precision quantization has become necessary to achieve high-quality results with low model cost. Prior mixed-precision quantization methods have performed a post-training quantization search, which compromises on accuracy, or a differentiable quantization search, which leads to high memory usage from branching. Therefore, we propose the first one-shot mixed-precision quantization search that eliminates the need for retraining in both integer and low-precision floating point models. We evaluate our floating-point and integer quantization search (FLIQS) on multiple convolutional networks and vision transformer models to discover Pareto-optimal models. Our approach discovers models that improve upon uniform precision, manual mixed-precision, and recent integer quantization search methods. With the proposed integer quantization search, we increase the accuracy of ResNet-18 on ImageNet by 1.31% points and ResNet-50 by 0.90% points with equivalent model cost over previous methods. Additionally, for the first time, we explore a novel mixed-precision floating-point search and improve MobileNetV2 by up to 0.98% points compared to prior state-of-the-art FP8 models. Finally, we extend FLIQS to simultaneously search a joint quantization and neural architecture space and improve the ImageNet accuracy by 2.69% points with similar model cost on a MobileNetV2 search space.

FLIQS: Busca de Quantização em Ponto Flutuante e Inteiro de Precisão Mista em Uma Única Etapa

FLIQS: One-Shot Mixed-Precision Floating-Point and Integer Quantization Search

Resumo

Support