Descifrando la Confianza Comprimida: Examinando la Fiabilidad de los LLMs Eficientes Bajo Compresión

Decoding Compressed Trust: Scrutinizing the Trustworthiness of Efficient LLMs Under Compression

March 18, 2024

Autores: Junyuan Hong, Jinhao Duan, Chenhui Zhang, Zhangheng Li, Chulin Xie, Kelsey Lieberman, James Diffenderfer, Brian Bartoldson, Ajay Jaiswal, Kaidi Xu, Bhavya Kailkhura, Dan Hendrycks, Dawn Song, Zhangyang Wang, Bo Li

cs.AI

Resumen

La compresión de modelos de lenguaje de gran capacidad (LLMs, por sus siglas en inglés) ha surgido como una estrategia preferida para realizar inferencias eficientes en términos de recursos. Si bien los métodos de compresión más avanzados (SoTA, por sus siglas en inglés) muestran avances impresionantes en la preservación del rendimiento en tareas benignas, los riesgos potenciales de la compresión en términos de seguridad y confiabilidad han sido ampliamente ignorados. Este estudio realiza la primera evaluación exhaustiva de tres (3) LLMs líderes utilizando cinco (5) técnicas de compresión SoTA en ocho (8) dimensiones de confiabilidad. Nuestros experimentos destacan la compleja interacción entre la compresión y la confiabilidad, revelando algunos patrones interesantes. Encontramos que la cuantización es actualmente un enfoque más efectivo que la poda para lograr simultáneamente eficiencia y confiabilidad. Por ejemplo, un modelo cuantizado a 4 bits mantiene la confiabilidad de su contraparte original, pero la poda del modelo degrada significativamente la confiabilidad, incluso con un 50% de dispersión. Además, emplear la cuantización dentro de un rango moderado de bits podría mejorar inesperadamente ciertas dimensiones de confiabilidad, como la ética y la equidad. Por el contrario, la cuantización extrema a niveles de bits muy bajos (3 bits) tiende a reducir significativamente la confiabilidad. Este mayor riesgo no puede ser descubierto solo observando el rendimiento benigno, lo que a su vez exige una evaluación integral de la confiabilidad en la práctica. Estos hallazgos culminan en recomendaciones prácticas para lograr simultáneamente alta utilidad, eficiencia y confiabilidad en los LLMs. Los modelos y el código están disponibles en https://decoding-comp-trust.github.io/.

English

Compressing high-capability Large Language Models (LLMs) has emerged as a favored strategy for resource-efficient inferences. While state-of-the-art (SoTA) compression methods boast impressive advancements in preserving benign task performance, the potential risks of compression in terms of safety and trustworthiness have been largely neglected. This study conducts the first, thorough evaluation of three (3) leading LLMs using five (5) SoTA compression techniques across eight (8) trustworthiness dimensions. Our experiments highlight the intricate interplay between compression and trustworthiness, revealing some interesting patterns. We find that quantization is currently a more effective approach than pruning in achieving efficiency and trustworthiness simultaneously. For instance, a 4-bit quantized model retains the trustworthiness of its original counterpart, but model pruning significantly degrades trustworthiness, even at 50% sparsity. Moreover, employing quantization within a moderate bit range could unexpectedly improve certain trustworthiness dimensions such as ethics and fairness. Conversely, extreme quantization to very low bit levels (3 bits) tends to significantly reduce trustworthiness. This increased risk cannot be uncovered by looking at benign performance alone, in turn, mandating comprehensive trustworthiness evaluation in practice. These findings culminate in practical recommendations for simultaneously achieving high utility, efficiency, and trustworthiness in LLMs. Models and code are available at https://decoding-comp-trust.github.io/.