Decodificando a Confiança Comprimida: Examinando a Confiabilidade de LLMs Eficientes sob Compressão

Resumo

A compressão de modelos de linguagem de grande capacidade (LLMs, na sigla em inglês) surgiu como uma estratégia preferida para inferências eficientes em termos de recursos. Embora os métodos de compressão state-of-the-art (SoTA) apresentem avanços impressionantes na preservação do desempenho em tarefas benignas, os riscos potenciais da compressão em termos de segurança e confiabilidade têm sido amplamente negligenciados. Este estudo realiza a primeira avaliação detalhada de três (3) LLMs líderes utilizando cinco (5) técnicas de compressão SoTA em oito (8) dimensões de confiabilidade. Nossos experimentos destacam a complexa interação entre compressão e confiabilidade, revelando alguns padrões interessantes. Descobrimos que a quantização é atualmente uma abordagem mais eficaz do que o pruning para alcançar simultaneamente eficiência e confiabilidade. Por exemplo, um modelo quantizado em 4 bits mantém a confiabilidade de sua contraparte original, mas o pruning do modelo degrada significativamente a confiabilidade, mesmo com 50% de esparsidade. Além disso, a aplicação de quantização dentro de uma faixa moderada de bits pode, surpreendentemente, melhorar certas dimensões de confiabilidade, como ética e justiça. Por outro lado, a quantização extrema para níveis muito baixos de bits (3 bits) tende a reduzir significativamente a confiabilidade. Esse risco aumentado não pode ser descoberto apenas observando o desempenho benigno, o que, por sua vez, exige uma avaliação abrangente da confiabilidade na prática. Essas descobertas culminam em recomendações práticas para alcançar simultaneamente alta utilidade, eficiência e confiabilidade em LLMs. Modelos e código estão disponíveis em https://decoding-comp-trust.github.io/.

English

Compressing high-capability Large Language Models (LLMs) has emerged as a favored strategy for resource-efficient inferences. While state-of-the-art (SoTA) compression methods boast impressive advancements in preserving benign task performance, the potential risks of compression in terms of safety and trustworthiness have been largely neglected. This study conducts the first, thorough evaluation of three (3) leading LLMs using five (5) SoTA compression techniques across eight (8) trustworthiness dimensions. Our experiments highlight the intricate interplay between compression and trustworthiness, revealing some interesting patterns. We find that quantization is currently a more effective approach than pruning in achieving efficiency and trustworthiness simultaneously. For instance, a 4-bit quantized model retains the trustworthiness of its original counterpart, but model pruning significantly degrades trustworthiness, even at 50% sparsity. Moreover, employing quantization within a moderate bit range could unexpectedly improve certain trustworthiness dimensions such as ethics and fairness. Conversely, extreme quantization to very low bit levels (3 bits) tends to significantly reduce trustworthiness. This increased risk cannot be uncovered by looking at benign performance alone, in turn, mandating comprehensive trustworthiness evaluation in practice. These findings culminate in practical recommendations for simultaneously achieving high utility, efficiency, and trustworthiness in LLMs. Models and code are available at https://decoding-comp-trust.github.io/.

Decodificando a Confiança Comprimida: Examinando a Confiabilidade de LLMs Eficientes sob Compressão

Decoding Compressed Trust: Scrutinizing the Trustworthiness of Efficient LLMs Under Compression

Resumo

Support