Dekodierung komprimierten Vertrauens: Untersuchung der Vertrauenswürdigkeit von effizienten LLMs unter Kompression

Decoding Compressed Trust: Scrutinizing the Trustworthiness of Efficient LLMs Under Compression

March 18, 2024

Autoren: Junyuan Hong, Jinhao Duan, Chenhui Zhang, Zhangheng Li, Chulin Xie, Kelsey Lieberman, James Diffenderfer, Brian Bartoldson, Ajay Jaiswal, Kaidi Xu, Bhavya Kailkhura, Dan Hendrycks, Dawn Song, Zhangyang Wang, Bo Li

cs.AI

Zusammenfassung

Die Komprimierung von leistungsstarken Large Language Models (LLMs) hat sich als bevorzugte Strategie für ressourceneffiziente Inferenzen herauskristallisiert. Während State-of-the-Art-Kompressionsmethoden beeindruckende Fortschritte bei der Erhaltung der Leistung bei benignen Aufgaben vorweisen, wurden die potenziellen Risiken der Kompression in Bezug auf Sicherheit und Vertrauenswürdigkeit weitgehend vernachlässigt. Diese Studie führt die erste umfassende Bewertung von drei (3) führenden LLMs unter Verwendung von fünf (5) State-of-the-Art-Kompressionstechniken über acht (8) Vertrauenswürdigkeitsdimensionen durch. Unsere Experimente heben das komplexe Zusammenspiel zwischen Kompression und Vertrauenswürdigkeit hervor und zeigen interessante Muster auf. Wir stellen fest, dass Quantisierung derzeit ein effektiverer Ansatz als Pruning ist, um Effizienz und Vertrauenswürdigkeit gleichzeitig zu erreichen. Beispielsweise behält ein 4-Bit-quantisiertes Modell die Vertrauenswürdigkeit seines Originals bei, während das Modell-Pruning die Vertrauenswürdigkeit signifikant beeinträchtigt, selbst bei 50% Sparsamkeit. Darüber hinaus kann die Verwendung von Quantisierung innerhalb eines moderaten Bit-Bereichs bestimmte Vertrauenswürdigkeitsdimensionen wie Ethik und Fairness unerwartet verbessern. Im Gegensatz dazu neigt eine extreme Quantisierung auf sehr niedrige Bit-Ebenen (3 Bits) dazu, die Vertrauenswürdigkeit signifikant zu reduzieren. Dieses erhöhte Risiko kann allein durch die Betrachtung der benignen Leistung nicht aufgedeckt werden und erfordert daher eine umfassende Vertrauenswürdigkeitsevaluierung in der Praxis. Diese Erkenntnisse münden in praktische Empfehlungen, um gleichzeitig hohe Nützlichkeit, Effizienz und Vertrauenswürdigkeit in LLMs zu erreichen. Modelle und Code sind unter https://decoding-comp-trust.github.io/ verfügbar.

English

Compressing high-capability Large Language Models (LLMs) has emerged as a favored strategy for resource-efficient inferences. While state-of-the-art (SoTA) compression methods boast impressive advancements in preserving benign task performance, the potential risks of compression in terms of safety and trustworthiness have been largely neglected. This study conducts the first, thorough evaluation of three (3) leading LLMs using five (5) SoTA compression techniques across eight (8) trustworthiness dimensions. Our experiments highlight the intricate interplay between compression and trustworthiness, revealing some interesting patterns. We find that quantization is currently a more effective approach than pruning in achieving efficiency and trustworthiness simultaneously. For instance, a 4-bit quantized model retains the trustworthiness of its original counterpart, but model pruning significantly degrades trustworthiness, even at 50% sparsity. Moreover, employing quantization within a moderate bit range could unexpectedly improve certain trustworthiness dimensions such as ethics and fairness. Conversely, extreme quantization to very low bit levels (3 bits) tends to significantly reduce trustworthiness. This increased risk cannot be uncovered by looking at benign performance alone, in turn, mandating comprehensive trustworthiness evaluation in practice. These findings culminate in practical recommendations for simultaneously achieving high utility, efficiency, and trustworthiness in LLMs. Models and code are available at https://decoding-comp-trust.github.io/.