Untersuchung des Einflusses von Quantisierungsmethoden auf die Sicherheit und Zuverlässigkeit großer Sprachmodelle

Investigating the Impact of Quantization Methods on the Safety and Reliability of Large Language Models

February 18, 2025

Autoren: Artyom Kharinaev, Viktor Moskvoretskii, Egor Shvetsov, Kseniia Studenikina, Bykov Mikhail, Evgeny Burnaev

cs.AI

Zusammenfassung

Große Sprachmodelle (Large Language Models, LLMs) haben sich als leistungsstarke Werkzeuge zur Bewältigung moderner Herausforderungen und zur Ermöglichung praktischer Anwendungen etabliert. Ihre hohe Rechenkomplexität stellt jedoch nach wie vor eine bedeutende Hürde für eine weitreichende Anwendung dar. Quantisierung hat sich als vielversprechende Technik herauskristallisiert, um den Zugang zu demokratisieren und die Bereitstellung auf Geräten mit begrenzten Ressourcen zu ermöglichen. Trotz dieser Fortschritte bleiben die Sicherheit und Vertrauenswürdigkeit quantisierter Modelle untererforscht, da frühere Studien häufig zeitgenössische Architekturen außer Acht lassen und sich auf zu vereinfachte Benchmarks und Bewertungen stützen. Um diese Lücke zu schließen, stellen wir OpenSafetyMini vor, ein neuartiges Sicherheitsdatenset, das entwickelt wurde, um Modelle besser voneinander unterscheiden zu können. Wir evaluieren 4 hochmoderne Quantisierungstechniken anhand der LLaMA- und Mistral-Modelle unter Verwendung von 4 Benchmarks, einschließlich menschlicher Bewertungen. Unsere Ergebnisse zeigen, dass die optimale Quantisierungsmethode für 4-Bit-Präzision variiert, während Vektorquantisierungstechniken die beste Sicherheits- und Vertrauenswürdigkeitsleistung bei 2-Bit-Präzision bieten, was eine Grundlage für zukünftige Forschung darstellt.

English

Large Language Models (LLMs) have emerged as powerful tools for addressing modern challenges and enabling practical applications. However, their computational expense remains a significant barrier to widespread adoption. Quantization has emerged as a promising technique to democratize access and enable low resource device deployment. Despite these advancements, the safety and trustworthiness of quantized models remain underexplored, as prior studies often overlook contemporary architectures and rely on overly simplistic benchmarks and evaluations. To address this gap, we introduce OpenSafetyMini, a novel open-ended safety dataset designed to better distinguish between models. We evaluate 4 state-of-the-art quantization techniques across LLaMA and Mistral models using 4 benchmarks, including human evaluations. Our findings reveal that the optimal quantization method varies for 4-bit precision, while vector quantization techniques deliver the best safety and trustworthiness performance at 2-bit precision, providing foundation for future research.