Investigación del Impacto de los Métodos de Cuantización en la Seguridad y Fiabilidad de los Modelos de Lenguaje a Gran Escala

Investigating the Impact of Quantization Methods on the Safety and Reliability of Large Language Models

February 18, 2025

Autores: Artyom Kharinaev, Viktor Moskvoretskii, Egor Shvetsov, Kseniia Studenikina, Bykov Mikhail, Evgeny Burnaev

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han surgido como herramientas poderosas para abordar desafíos modernos y habilitar aplicaciones prácticas. Sin embargo, su costo computacional sigue siendo una barrera significativa para su adopción generalizada. La cuantización ha surgido como una técnica prometedora para democratizar el acceso y permitir el despliegue en dispositivos con recursos limitados. A pesar de estos avances, la seguridad y confiabilidad de los modelos cuantizados siguen siendo poco exploradas, ya que estudios previos a menudo pasan por alto arquitecturas contemporáneas y se basan en benchmarks y evaluaciones excesivamente simplistas. Para abordar esta brecha, presentamos OpenSafetyMini, un nuevo conjunto de datos de seguridad de formato abierto diseñado para distinguir mejor entre modelos. Evaluamos 4 técnicas de cuantización de vanguardia en modelos LLaMA y Mistral utilizando 4 benchmarks, incluyendo evaluaciones humanas. Nuestros hallazgos revelan que el método de cuantización óptimo varía para precisión de 4 bits, mientras que las técnicas de cuantización vectorial ofrecen el mejor rendimiento en seguridad y confiabilidad a 2 bits de precisión, sentando las bases para futuras investigaciones.

English

Large Language Models (LLMs) have emerged as powerful tools for addressing modern challenges and enabling practical applications. However, their computational expense remains a significant barrier to widespread adoption. Quantization has emerged as a promising technique to democratize access and enable low resource device deployment. Despite these advancements, the safety and trustworthiness of quantized models remain underexplored, as prior studies often overlook contemporary architectures and rely on overly simplistic benchmarks and evaluations. To address this gap, we introduce OpenSafetyMini, a novel open-ended safety dataset designed to better distinguish between models. We evaluate 4 state-of-the-art quantization techniques across LLaMA and Mistral models using 4 benchmarks, including human evaluations. Our findings reveal that the optimal quantization method varies for 4-bit precision, while vector quantization techniques deliver the best safety and trustworthiness performance at 2-bit precision, providing foundation for future research.