Декодирование сжатого доверия: Изучение надежности эффективных LLM при сжатии

Decoding Compressed Trust: Scrutinizing the Trustworthiness of Efficient LLMs Under Compression

March 18, 2024

Авторы: Junyuan Hong, Jinhao Duan, Chenhui Zhang, Zhangheng Li, Chulin Xie, Kelsey Lieberman, James Diffenderfer, Brian Bartoldson, Ajay Jaiswal, Kaidi Xu, Bhavya Kailkhura, Dan Hendrycks, Dawn Song, Zhangyang Wang, Bo Li

cs.AI

Аннотация

Сжатие мощных моделей языка (Large Language Models, LLM) стало предпочтительной стратегией для ресурсоэффективных выводов. В то время как современные методы сжатия (SoTA) гордятся впечатляющими достижениями в сохранении производительности задач, потенциальные риски сжатия с точки зрения безопасности и надежности в значительной степени остаются незамеченными. В данном исследовании проводится первичная, тщательная оценка трех (3) ведущих LLM с использованием пяти (5) современных методов сжатия по восьми (8) измерениям надежности. Наши эксперименты подчеркивают сложное взаимодействие между сжатием и надежностью, раскрывая некоторые интересные закономерности. Мы обнаружили, что квантование в настоящее время является более эффективным подходом, чем обрезка, для одновременного достижения эффективности и надежности. Например, 4-битная квантованная модель сохраняет надежность своего оригинального аналога, в то время как обрезка модели значительно снижает надежность, даже при 50% разреженности. Более того, использование квантования в умеренном диапазоне битов может неожиданно улучшить определенные измерения надежности, такие как этика и справедливость. Напротив, экстремальное квантование до очень низкого уровня битов (3 бита) обычно значительно снижает надежность. Этот увеличенный риск нельзя выявить, просто оценивая производительность задач, что, в свою очередь, требует всесторонней оценки надежности на практике. Эти результаты приводят к практическим рекомендациям для одновременного достижения высокой полезности, эффективности и надежности в LLM. Модели и код доступны на https://decoding-comp-trust.github.io/.

English

Compressing high-capability Large Language Models (LLMs) has emerged as a favored strategy for resource-efficient inferences. While state-of-the-art (SoTA) compression methods boast impressive advancements in preserving benign task performance, the potential risks of compression in terms of safety and trustworthiness have been largely neglected. This study conducts the first, thorough evaluation of three (3) leading LLMs using five (5) SoTA compression techniques across eight (8) trustworthiness dimensions. Our experiments highlight the intricate interplay between compression and trustworthiness, revealing some interesting patterns. We find that quantization is currently a more effective approach than pruning in achieving efficiency and trustworthiness simultaneously. For instance, a 4-bit quantized model retains the trustworthiness of its original counterpart, but model pruning significantly degrades trustworthiness, even at 50% sparsity. Moreover, employing quantization within a moderate bit range could unexpectedly improve certain trustworthiness dimensions such as ethics and fairness. Conversely, extreme quantization to very low bit levels (3 bits) tends to significantly reduce trustworthiness. This increased risk cannot be uncovered by looking at benign performance alone, in turn, mandating comprehensive trustworthiness evaluation in practice. These findings culminate in practical recommendations for simultaneously achieving high utility, efficiency, and trustworthiness in LLMs. Models and code are available at https://decoding-comp-trust.github.io/.