Analisi dell'Impatto dei Metodi di Quantizzazione sulla Sicurezza e Affidabilità dei Modelli Linguistici di Grandi Dimensioni

Investigating the Impact of Quantization Methods on the Safety and Reliability of Large Language Models

February 18, 2025

Autori: Artyom Kharinaev, Viktor Moskvoretskii, Egor Shvetsov, Kseniia Studenikina, Bykov Mikhail, Evgeny Burnaev

cs.AI

Abstract

I Large Language Models (LLMs) si sono affermati come strumenti potenti per affrontare le sfide moderne e abilitare applicazioni pratiche. Tuttavia, il loro costo computazionale rimane una barriera significativa per un'adozione diffusa. La quantizzazione è emersa come una tecnica promettente per democratizzare l'accesso e consentire il dispiegamento su dispositivi con risorse limitate. Nonostante questi progressi, la sicurezza e l'affidabilità dei modelli quantizzati rimangono poco esplorate, poiché studi precedenti spesso trascurano architetture contemporanee e si basano su benchmark e valutazioni eccessivamente semplificati. Per colmare questa lacuna, introduciamo OpenSafetyMini, un nuovo dataset aperto sulla sicurezza progettato per distinguere meglio tra i modelli. Valutiamo 4 tecniche di quantizzazione all'avanguardia su modelli LLaMA e Mistral utilizzando 4 benchmark, inclusa la valutazione umana. I nostri risultati rivelano che il metodo di quantizzazione ottimale varia per la precisione a 4 bit, mentre le tecniche di quantizzazione vettoriale offrono le migliori prestazioni in termini di sicurezza e affidabilità a 2 bit, fornendo una base per future ricerche.

English

Large Language Models (LLMs) have emerged as powerful tools for addressing modern challenges and enabling practical applications. However, their computational expense remains a significant barrier to widespread adoption. Quantization has emerged as a promising technique to democratize access and enable low resource device deployment. Despite these advancements, the safety and trustworthiness of quantized models remain underexplored, as prior studies often overlook contemporary architectures and rely on overly simplistic benchmarks and evaluations. To address this gap, we introduce OpenSafetyMini, a novel open-ended safety dataset designed to better distinguish between models. We evaluate 4 state-of-the-art quantization techniques across LLaMA and Mistral models using 4 benchmarks, including human evaluations. Our findings reveal that the optimal quantization method varies for 4-bit precision, while vector quantization techniques deliver the best safety and trustworthiness performance at 2-bit precision, providing foundation for future research.