Étude de l'impact des méthodes de quantification sur la sécurité et la fiabilité des grands modèles de langage

Investigating the Impact of Quantization Methods on the Safety and Reliability of Large Language Models

February 18, 2025

Auteurs: Artyom Kharinaev, Viktor Moskvoretskii, Egor Shvetsov, Kseniia Studenikina, Bykov Mikhail, Evgeny Burnaev

cs.AI

Résumé

Les grands modèles de langage (LLMs) sont apparus comme des outils puissants pour relever les défis modernes et permettre des applications pratiques. Cependant, leur coût computationnel reste un obstacle majeur à leur adoption généralisée. La quantification s'est imposée comme une technique prometteuse pour démocratiser l'accès et permettre un déploiement sur des appareils à ressources limitées. Malgré ces avancées, la sécurité et la fiabilité des modèles quantifiés restent peu explorées, car les études antérieures négligent souvent les architectures contemporaines et s'appuient sur des benchmarks et des évaluations trop simplistes. Pour combler cette lacune, nous présentons OpenSafetyMini, un nouveau jeu de données ouvert sur la sécurité conçu pour mieux distinguer les modèles. Nous évaluons 4 techniques de quantification de pointe sur les modèles LLaMA et Mistral en utilisant 4 benchmarks, y compris des évaluations humaines. Nos résultats révèlent que la méthode de quantification optimale varie pour une précision de 4 bits, tandis que les techniques de quantification vectorielle offrent les meilleures performances en matière de sécurité et de fiabilité à une précision de 2 bits, jetant ainsi les bases pour de futures recherches.

English

Large Language Models (LLMs) have emerged as powerful tools for addressing modern challenges and enabling practical applications. However, their computational expense remains a significant barrier to widespread adoption. Quantization has emerged as a promising technique to democratize access and enable low resource device deployment. Despite these advancements, the safety and trustworthiness of quantized models remain underexplored, as prior studies often overlook contemporary architectures and rely on overly simplistic benchmarks and evaluations. To address this gap, we introduce OpenSafetyMini, a novel open-ended safety dataset designed to better distinguish between models. We evaluate 4 state-of-the-art quantization techniques across LLaMA and Mistral models using 4 benchmarks, including human evaluations. Our findings reveal that the optimal quantization method varies for 4-bit precision, while vector quantization techniques deliver the best safety and trustworthiness performance at 2-bit precision, providing foundation for future research.