Een uitgebreide evaluatie van Gekwantiseerde Instructie-afgestemde Grote Taalmodellen: Een Experimentele Analyse tot 405B.

A Comprehensive Evaluation of Quantized Instruction-Tuned Large Language Models: An Experimental Analysis up to 405B

September 17, 2024

Auteurs: Jemin Lee, Sihyeong Park, Jinse Kwon, Jihun Oh, Yongin Kwon

cs.AI

Samenvatting

Eerdere onderzoeken hebben gekwantiseerde LLM's geëvalueerd met behulp van beperkte metrieken zoals perplexiteit of een paar basiskennistaken en oude datasets. Bovendien zijn recente grootschalige modellen zoals Llama 3.1 met tot wel 405B nog niet grondig onderzocht. Dit artikel evalueert de prestaties van instructie-afgestemde LLM's met behulp van verschillende kwantisatiemethoden (GPTQ, AWQ, SmoothQuant en FP8) op modellen variërend van 7B tot 405B. Met behulp van 13 benchmarks beoordelen we de prestaties over zes soorten taken: gezond verstandsvragen, kennis- en taalbegrip, instructievolging, hallucinatiedetectie, wiskunde en dialoog. Onze belangrijkste bevindingen tonen aan dat (1) het kwantiseren van een grotere LLM naar een vergelijkbare grootte als een kleinere FP16 LLM over het algemeen beter presteert bij de meeste benchmarks, behalve bij hallucinatiedetectie en instructievolging; (2) de prestaties variëren aanzienlijk met verschillende kwantisatiemethoden, modelgrootte en bit-breedte, waarbij methoden die alleen op gewicht zijn gebaseerd vaak betere resultaten opleveren bij grotere modellen; (3) de moeilijkheidsgraad van de taak heeft geen significante invloed op de nauwkeurigheidsafname als gevolg van kwantisatie; en (4) de MT-Bench evaluatiemethode heeft beperkte onderscheidende kracht bij recente hoog presterende LLM's.

English

Prior research works have evaluated quantized LLMs using limited metrics such as perplexity or a few basic knowledge tasks and old datasets. Additionally, recent large-scale models such as Llama 3.1 with up to 405B have not been thoroughly examined. This paper evaluates the performance of instruction-tuned LLMs across various quantization methods (GPTQ, AWQ, SmoothQuant, and FP8) on models ranging from 7B to 405B. Using 13 benchmarks, we assess performance across six task types: commonsense Q\&A, knowledge and language understanding, instruction following, hallucination detection, mathematics, and dialogue. Our key findings reveal that (1) quantizing a larger LLM to a similar size as a smaller FP16 LLM generally performs better across most benchmarks, except for hallucination detection and instruction following; (2) performance varies significantly with different quantization methods, model size, and bit-width, with weight-only methods often yielding better results in larger models; (3) task difficulty does not significantly impact accuracy degradation due to quantization; and (4) the MT-Bench evaluation method has limited discriminatory power among recent high-performing LLMs.