Investigando o Impacto dos Métodos de Quantização na Segurança e Confiabilidade de Modelos de Linguagem de Grande Escala

Investigating the Impact of Quantization Methods on the Safety and Reliability of Large Language Models

February 18, 2025

Autores: Artyom Kharinaev, Viktor Moskvoretskii, Egor Shvetsov, Kseniia Studenikina, Bykov Mikhail, Evgeny Burnaev

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) surgiram como ferramentas poderosas para enfrentar desafios modernos e viabilizar aplicações práticas. No entanto, seu custo computacional continua sendo uma barreira significativa para a adoção generalizada. A quantização emergiu como uma técnica promissora para democratizar o acesso e permitir a implantação em dispositivos com recursos limitados. Apesar desses avanços, a segurança e a confiabilidade dos modelos quantizados permanecem pouco exploradas, já que estudos anteriores frequentemente ignoram arquiteturas contemporâneas e dependem de benchmarks e avaliações excessivamente simplistas. Para preencher essa lacuna, introduzimos o OpenSafetyMini, um novo conjunto de dados de segurança de código aberto projetado para distinguir melhor entre os modelos. Avaliamos 4 técnicas de quantização de última geração em modelos LLaMA e Mistral usando 4 benchmarks, incluindo avaliações humanas. Nossos resultados revelam que o método de quantização ideal varia para precisão de 4 bits, enquanto as técnicas de quantização vetorial oferecem o melhor desempenho em segurança e confiabilidade na precisão de 2 bits, fornecendo uma base para pesquisas futuras.

English

Large Language Models (LLMs) have emerged as powerful tools for addressing modern challenges and enabling practical applications. However, their computational expense remains a significant barrier to widespread adoption. Quantization has emerged as a promising technique to democratize access and enable low resource device deployment. Despite these advancements, the safety and trustworthiness of quantized models remain underexplored, as prior studies often overlook contemporary architectures and rely on overly simplistic benchmarks and evaluations. To address this gap, we introduce OpenSafetyMini, a novel open-ended safety dataset designed to better distinguish between models. We evaluate 4 state-of-the-art quantization techniques across LLaMA and Mistral models using 4 benchmarks, including human evaluations. Our findings reveal that the optimal quantization method varies for 4-bit precision, while vector quantization techniques deliver the best safety and trustworthiness performance at 2-bit precision, providing foundation for future research.