FLIQS: Ein-Shot-Mixed-Precision-Gleitkomma- und Ganzzahl-Quantisierungssuche

papers.abstract

Quantisierung hat sich zu einer gängigen Kompressionstechnik entwickelt, um die Modellgröße, den Rechenbedarf und den Energieverbrauch moderner tiefer neuronaler Netze (DNNs) zu reduzieren. Mit der verbesserten numerischen Unterstützung in aktueller Hardware, einschließlich mehrerer Varianten von Integer- und Gleitkommazahlen, ist eine gemischte Präzisionsquantisierung notwendig geworden, um hochwertige Ergebnisse bei geringen Modellkosten zu erzielen. Bisherige Methoden zur gemischten Präzisionsquantisierung führten entweder eine Post-Training-Quantisierungssuche durch, was die Genauigkeit beeinträchtigt, oder eine differenzierbare Quantisierungssuche, was zu hohem Speicherbedarf durch Verzweigungen führt. Daher schlagen wir die erste One-Shot-Mixed-Precision-Quantisierungssuche vor, die das erneute Training sowohl für Integer- als auch für niedrigpräzise Gleitkommamodelle überflüssig macht. Wir evaluieren unsere Gleitkomma- und Integer-Quantisierungssuche (FLIQS) an mehreren Faltungsnetzwerken und Vision-Transformer-Modellen, um Pareto-optimale Modelle zu entdecken. Unser Ansatz findet Modelle, die sich gegenüber gleichmäßiger Präzision, manueller gemischter Präzision und aktuellen Integer-Quantisierungssuchmethoden verbessern. Mit der vorgeschlagenen Integer-Quantisierungssuche steigern wir die Genauigkeit von ResNet-18 auf ImageNet um 1,31 Prozentpunkte und von ResNet-50 um 0,90 Prozentpunkte bei gleichen Modellkosten im Vergleich zu früheren Methoden. Darüber hinaus untersuchen wir erstmals eine neuartige gemischte Präzisions-Gleitkommasuche und verbessern MobileNetV2 um bis zu 0,98 Prozentpunkte im Vergleich zu bisherigen State-of-the-Art-FP8-Modellen. Schließlich erweitern wir FLIQS, um gleichzeitig einen gemeinsamen Quantisierungs- und neuronalen Architekturraum zu durchsuchen, und verbessern die ImageNet-Genauigkeit um 2,69 Prozentpunkte bei ähnlichen Modellkosten in einem MobileNetV2-Suchraum.

English

Quantization has become a mainstream compression technique for reducing model size, computational requirements, and energy consumption for modern deep neural networks (DNNs). With the improved numerical support in recent hardware, including multiple variants of integer and floating point, mixed-precision quantization has become necessary to achieve high-quality results with low model cost. Prior mixed-precision quantization methods have performed a post-training quantization search, which compromises on accuracy, or a differentiable quantization search, which leads to high memory usage from branching. Therefore, we propose the first one-shot mixed-precision quantization search that eliminates the need for retraining in both integer and low-precision floating point models. We evaluate our floating-point and integer quantization search (FLIQS) on multiple convolutional networks and vision transformer models to discover Pareto-optimal models. Our approach discovers models that improve upon uniform precision, manual mixed-precision, and recent integer quantization search methods. With the proposed integer quantization search, we increase the accuracy of ResNet-18 on ImageNet by 1.31% points and ResNet-50 by 0.90% points with equivalent model cost over previous methods. Additionally, for the first time, we explore a novel mixed-precision floating-point search and improve MobileNetV2 by up to 0.98% points compared to prior state-of-the-art FP8 models. Finally, we extend FLIQS to simultaneously search a joint quantization and neural architecture space and improve the ImageNet accuracy by 2.69% points with similar model cost on a MobileNetV2 search space.

FLIQS: Ein-Shot-Mixed-Precision-Gleitkomma- und Ganzzahl-Quantisierungssuche

FLIQS: One-Shot Mixed-Precision Floating-Point and Integer Quantization Search

papers.abstract

Support