FLIQS: Eénmalige zoektocht naar gemengde precisie voor floating-point en integer kwantisering

Samenvatting

Kwantisatie is een veelgebruikte compressietechniek geworden om de modelgrootte, rekenvereisten en energieconsumptie van moderne deep neural networks (DNN's) te verminderen. Met de verbeterde numerieke ondersteuning in recente hardware, waaronder meerdere varianten van integer- en floating-point, is mixed-precision kwantisatie noodzakelijk geworden om hoogwaardige resultaten te behalen tegen lage modelkosten. Eerdere mixed-precision kwantisatiemethoden voerden een post-training kwantisatiezoektocht uit, wat ten koste gaat van de nauwkeurigheid, of een differentieerbare kwantisatiezoektocht, wat leidt tot hoog geheugengebruik door vertakkingen. Daarom stellen we de eerste one-shot mixed-precision kwantisatiezoektocht voor die de noodzaak van hertraining elimineert, zowel voor integer- als low-precision floating-point modellen. We evalueren onze floating-point en integer kwantisatiezoektocht (FLIQS) op meerdere convolutionele netwerken en vision transformer modellen om Pareto-optimale modellen te ontdekken. Onze aanpak ontdekt modellen die beter presteren dan uniforme precisie, handmatige mixed-precision en recente integer kwantisatiezoekmethoden. Met de voorgestelde integer kwantisatiezoektocht verhogen we de nauwkeurigheid van ResNet-18 op ImageNet met 1,31 procentpunten en ResNet-50 met 0,90 procentpunten bij gelijkblijvende modelkosten ten opzichte van eerdere methoden. Daarnaast verkennen we voor het eerst een nieuwe mixed-precision floating-point zoektocht en verbeteren we MobileNetV2 met maximaal 0,98 procentpunten in vergelijking met eerdere state-of-the-art FP8-modellen. Tot slot breiden we FLIQS uit om gelijktijdig een gezamenlijke kwantisatie- en neurale architectuurruimte te doorzoeken en verbeteren we de ImageNet-nauwkeurigheid met 2,69 procentpunten bij vergelijkbare modelkosten in een MobileNetV2 zoekruimte.

English

Quantization has become a mainstream compression technique for reducing model size, computational requirements, and energy consumption for modern deep neural networks (DNNs). With the improved numerical support in recent hardware, including multiple variants of integer and floating point, mixed-precision quantization has become necessary to achieve high-quality results with low model cost. Prior mixed-precision quantization methods have performed a post-training quantization search, which compromises on accuracy, or a differentiable quantization search, which leads to high memory usage from branching. Therefore, we propose the first one-shot mixed-precision quantization search that eliminates the need for retraining in both integer and low-precision floating point models. We evaluate our floating-point and integer quantization search (FLIQS) on multiple convolutional networks and vision transformer models to discover Pareto-optimal models. Our approach discovers models that improve upon uniform precision, manual mixed-precision, and recent integer quantization search methods. With the proposed integer quantization search, we increase the accuracy of ResNet-18 on ImageNet by 1.31% points and ResNet-50 by 0.90% points with equivalent model cost over previous methods. Additionally, for the first time, we explore a novel mixed-precision floating-point search and improve MobileNetV2 by up to 0.98% points compared to prior state-of-the-art FP8 models. Finally, we extend FLIQS to simultaneously search a joint quantization and neural architecture space and improve the ImageNet accuracy by 2.69% points with similar model cost on a MobileNetV2 search space.

FLIQS: Eénmalige zoektocht naar gemengde precisie voor floating-point en integer kwantisering

FLIQS: One-Shot Mixed-Precision Floating-Point and Integer Quantization Search

Samenvatting

Support