Het Decoderen van Gecomprimeerd Vertrouwen: Onderzoek naar de Betrouwbaarheid van Efficiënte LLM's Onder Compressie

Samenvatting

Het comprimeren van hoogwaardige Large Language Models (LLMs) is naar voren gekomen als een favoriete strategie voor resource-efficiënte inferenties. Hoewel state-of-the-art (SoTA) compressiemethoden indrukwekkende vooruitgang laten zien in het behouden van goede taakprestaties, zijn de potentiële risico's van compressie op het gebied van veiligheid en betrouwbaarheid grotendeels verwaarloosd. Deze studie voert de eerste grondige evaluatie uit van drie (3) toonaangevende LLMs met behulp van vijf (5) SoTA compressietechnieken over acht (8) betrouwbaarheidsdimensies. Onze experimenten benadrukken de complexe wisselwerking tussen compressie en betrouwbaarheid, waarbij enkele interessante patronen aan het licht komen. We constateren dat kwantisering momenteel een effectievere aanpak is dan pruning om zowel efficiëntie als betrouwbaarheid te bereiken. Zo behoudt een 4-bit gekwantiseerd model de betrouwbaarheid van zijn originele tegenhanger, maar leidt model pruning tot een significante afname van de betrouwbaarheid, zelfs bij 50% sparsity. Bovendien kan het toepassen van kwantisering binnen een gematigd bitbereik onverwacht bepaalde betrouwbaarheidsdimensies zoals ethiek en eerlijkheid verbeteren. Omgekeerd neigt extreme kwantisering naar zeer lage bitniveaus (3 bits) tot een significante vermindering van de betrouwbaarheid. Dit verhoogde risico kan niet worden blootgelegd door alleen naar goede prestaties te kijken, wat op zijn beurt een uitgebreide betrouwbaarheidsevaluatie in de praktijk vereist. Deze bevindingen resulteren in praktische aanbevelingen voor het gelijktijdig bereiken van hoge bruikbaarheid, efficiëntie en betrouwbaarheid in LLMs. Modellen en code zijn beschikbaar op https://decoding-comp-trust.github.io/.

English

Compressing high-capability Large Language Models (LLMs) has emerged as a favored strategy for resource-efficient inferences. While state-of-the-art (SoTA) compression methods boast impressive advancements in preserving benign task performance, the potential risks of compression in terms of safety and trustworthiness have been largely neglected. This study conducts the first, thorough evaluation of three (3) leading LLMs using five (5) SoTA compression techniques across eight (8) trustworthiness dimensions. Our experiments highlight the intricate interplay between compression and trustworthiness, revealing some interesting patterns. We find that quantization is currently a more effective approach than pruning in achieving efficiency and trustworthiness simultaneously. For instance, a 4-bit quantized model retains the trustworthiness of its original counterpart, but model pruning significantly degrades trustworthiness, even at 50% sparsity. Moreover, employing quantization within a moderate bit range could unexpectedly improve certain trustworthiness dimensions such as ethics and fairness. Conversely, extreme quantization to very low bit levels (3 bits) tends to significantly reduce trustworthiness. This increased risk cannot be uncovered by looking at benign performance alone, in turn, mandating comprehensive trustworthiness evaluation in practice. These findings culminate in practical recommendations for simultaneously achieving high utility, efficiency, and trustworthiness in LLMs. Models and code are available at https://decoding-comp-trust.github.io/.

Het Decoderen van Gecomprimeerd Vertrouwen: Onderzoek naar de Betrouwbaarheid van Efficiënte LLM's Onder Compressie

Decoding Compressed Trust: Scrutinizing the Trustworthiness of Efficient LLMs Under Compression

Samenvatting

Support