Onderzoek naar de Impact van Quantisatiemethoden op de Veiligheid en Betrouwbaarheid van Grote Taalmodellen

Investigating the Impact of Quantization Methods on the Safety and Reliability of Large Language Models

February 18, 2025

Auteurs: Artyom Kharinaev, Viktor Moskvoretskii, Egor Shvetsov, Kseniia Studenikina, Bykov Mikhail, Evgeny Burnaev

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) zijn opgekomen als krachtige tools om moderne uitdagingen aan te pakken en praktische toepassingen mogelijk te maken. Echter, hun rekenkundige kosten blijven een significante barrière voor wijdverbreide adoptie. Quantisatie is naar voren gekomen als een veelbelovende techniek om toegang te democratiseren en implementatie op apparaten met beperkte middelen mogelijk te maken. Ondanks deze ontwikkelingen blijven de veiligheid en betrouwbaarheid van gequantiseerde modellen onderbelicht, aangezien eerdere studies vaak hedendaagse architecturen over het hoofd zien en vertrouwen op overdreven eenvoudige benchmarks en evaluaties. Om deze lacune aan te pakken, introduceren we OpenSafetyMini, een nieuw open veiligheidsdataset ontworpen om beter onderscheid te maken tussen modellen. We evalueren 4 toonaangevende quantisatietechnieken over LLaMA en Mistral modellen met behulp van 4 benchmarks, inclusief menselijke evaluaties. Onze bevindingen tonen aan dat de optimale quantisatiemethode varieert voor 4-bits precisie, terwijl vector quantisatietechnieken de beste veiligheids- en betrouwbaarheidsprestaties leveren bij 2-bits precisie, wat een basis biedt voor toekomstig onderzoek.

English

Large Language Models (LLMs) have emerged as powerful tools for addressing modern challenges and enabling practical applications. However, their computational expense remains a significant barrier to widespread adoption. Quantization has emerged as a promising technique to democratize access and enable low resource device deployment. Despite these advancements, the safety and trustworthiness of quantized models remain underexplored, as prior studies often overlook contemporary architectures and rely on overly simplistic benchmarks and evaluations. To address this gap, we introduce OpenSafetyMini, a novel open-ended safety dataset designed to better distinguish between models. We evaluate 4 state-of-the-art quantization techniques across LLaMA and Mistral models using 4 benchmarks, including human evaluations. Our findings reveal that the optimal quantization method varies for 4-bit precision, while vector quantization techniques deliver the best safety and trustworthiness performance at 2-bit precision, providing foundation for future research.