Decodifica della Fiducia Compressa: Analisi dell'Affidabilità di Modelli Linguistici Efficienti Sottoposti a Compressione

Abstract

La compressione di modelli linguistici di grandi dimensioni (LLM) ad alta capacità è emersa come una strategia privilegiata per inferenze efficienti in termini di risorse. Sebbene i metodi di compressione all'avanguardia (SoTA) vantino progressi impressionanti nel preservare le prestazioni su compiti benigni, i potenziali rischi della compressione in termini di sicurezza e affidabilità sono stati largamente trascurati. Questo studio conduce la prima valutazione approfondita di tre (3) principali LLM utilizzando cinque (5) tecniche di compressione SoTA attraverso otto (8) dimensioni di affidabilità. I nostri esperimenti evidenziano l'intricata interazione tra compressione e affidabilità, rivelando alcuni modelli interessanti. Scopriamo che la quantizzazione è attualmente un approccio più efficace rispetto alla potatura nel raggiungere simultaneamente efficienza e affidabilità. Ad esempio, un modello quantizzato a 4 bit mantiene l'affidabilità della sua controparte originale, mentre la potatura del modello degrada significativamente l'affidabilità, anche con una sparsità del 50%. Inoltre, l'utilizzo della quantizzazione all'interno di un intervallo moderato di bit potrebbe migliorare inaspettatamente alcune dimensioni dell'affidabilità, come l'etica e l'equità. Al contrario, una quantizzazione estrema a livelli di bit molto bassi (3 bit) tende a ridurre significativamente l'affidabilità. Questo rischio aumentato non può essere scoperto osservando solo le prestazioni su compiti benigni, rendendo quindi necessaria una valutazione completa dell'affidabilità nella pratica. Questi risultati culminano in raccomandazioni pratiche per raggiungere simultaneamente alta utilità, efficienza e affidabilità nei LLM. Modelli e codice sono disponibili su https://decoding-comp-trust.github.io/.

English

Compressing high-capability Large Language Models (LLMs) has emerged as a favored strategy for resource-efficient inferences. While state-of-the-art (SoTA) compression methods boast impressive advancements in preserving benign task performance, the potential risks of compression in terms of safety and trustworthiness have been largely neglected. This study conducts the first, thorough evaluation of three (3) leading LLMs using five (5) SoTA compression techniques across eight (8) trustworthiness dimensions. Our experiments highlight the intricate interplay between compression and trustworthiness, revealing some interesting patterns. We find that quantization is currently a more effective approach than pruning in achieving efficiency and trustworthiness simultaneously. For instance, a 4-bit quantized model retains the trustworthiness of its original counterpart, but model pruning significantly degrades trustworthiness, even at 50% sparsity. Moreover, employing quantization within a moderate bit range could unexpectedly improve certain trustworthiness dimensions such as ethics and fairness. Conversely, extreme quantization to very low bit levels (3 bits) tends to significantly reduce trustworthiness. This increased risk cannot be uncovered by looking at benign performance alone, in turn, mandating comprehensive trustworthiness evaluation in practice. These findings culminate in practical recommendations for simultaneously achieving high utility, efficiency, and trustworthiness in LLMs. Models and code are available at https://decoding-comp-trust.github.io/.

Decodifica della Fiducia Compressa: Analisi dell'Affidabilità di Modelli Linguistici Efficienti Sottoposti a Compressione

Decoding Compressed Trust: Scrutinizing the Trustworthiness of Efficient LLMs Under Compression

Abstract

Support