大規模言語モデルの安全性と信頼性に対する量子化手法の影響の調査

Investigating the Impact of Quantization Methods on the Safety and Reliability of Large Language Models

February 18, 2025

著者: Artyom Kharinaev, Viktor Moskvoretskii, Egor Shvetsov, Kseniia Studenikina, Bykov Mikhail, Evgeny Burnaev

cs.AI

要旨

大規模言語モデル（LLMs）は、現代の課題に対処し実用的なアプリケーションを可能にする強力なツールとして登場しました。しかし、その計算コストの高さは、広範な普及における大きな障壁となっています。量子化は、アクセスを民主化し低リソースデバイスでの展開を可能にする有望な技術として注目されています。これらの進展にもかかわらず、量子化モデルの安全性と信頼性については十分に検討されておらず、従来の研究では現代のアーキテクチャを無視したり、過度に単純化されたベンチマークや評価に依存する傾向がありました。このギャップを埋めるため、我々はOpenSafetyMiniという新しいオープンエンドの安全性データセットを導入し、モデル間の違いをより明確に識別できるように設計しました。LLaMAとMistralモデルに対して4つの最先端の量子化技術を評価し、人間による評価を含む4つのベンチマークを使用しました。その結果、4ビット精度では最適な量子化手法が異なることが明らかになり、2ビット精度ではベクトル量子化技術が最も優れた安全性と信頼性のパフォーマンスを発揮し、今後の研究の基盤を提供することがわかりました。

English

Large Language Models (LLMs) have emerged as powerful tools for addressing modern challenges and enabling practical applications. However, their computational expense remains a significant barrier to widespread adoption. Quantization has emerged as a promising technique to democratize access and enable low resource device deployment. Despite these advancements, the safety and trustworthiness of quantized models remain underexplored, as prior studies often overlook contemporary architectures and rely on overly simplistic benchmarks and evaluations. To address this gap, we introduce OpenSafetyMini, a novel open-ended safety dataset designed to better distinguish between models. We evaluate 4 state-of-the-art quantization techniques across LLaMA and Mistral models using 4 benchmarks, including human evaluations. Our findings reveal that the optimal quantization method varies for 4-bit precision, while vector quantization techniques deliver the best safety and trustworthiness performance at 2-bit precision, providing foundation for future research.