DecodingTrust: Una Evaluación Integral de la Confiabilidad en Modelos GPT

DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models

June 20, 2023

Autores: Boxin Wang, Weixin Chen, Hengzhi Pei, Chulin Xie, Mintong Kang, Chenhui Zhang, Chejian Xu, Zidi Xiong, Ritik Dutta, Rylan Schaeffer, Sang T. Truong, Simran Arora, Mantas Mazeika, Dan Hendrycks, Zinan Lin, Yu Cheng, Sanmi Koyejo, Dawn Song, Bo Li

cs.AI

Resumen

Los modelos Generative Pre-trained Transformer (GPT) han mostrado avances emocionantes en sus capacidades, captando el interés tanto de profesionales como del público en general. Sin embargo, aunque la literatura sobre la confiabilidad de los modelos GPT sigue siendo limitada, los profesionales han propuesto emplear modelos GPT avanzados para aplicaciones sensibles en áreas como la salud y las finanzas, donde los errores pueden ser costosos. Con este fin, este trabajo propone una evaluación integral de la confiabilidad de los modelos de lenguaje grandes, con un enfoque en GPT-4 y GPT-3.5, considerando diversas perspectivas, incluyendo toxicidad, sesgos estereotípicos, robustez ante adversarios, robustez fuera de distribución, robustez ante demostraciones adversas, privacidad, ética de las máquinas y equidad. Basándonos en nuestras evaluaciones, descubrimos vulnerabilidades previamente no documentadas frente a amenazas a la confiabilidad. Por ejemplo, encontramos que los modelos GPT pueden ser fácilmente engañados para generar salidas tóxicas y sesgadas, y filtrar información privada tanto en los datos de entrenamiento como en el historial de conversaciones. También observamos que, aunque GPT-4 suele ser más confiable que GPT-3.5 en pruebas estándar, GPT-4 es más vulnerable ante intentos de "jailbreaking" o instrucciones engañosas de los usuarios, posiblemente porque GPT-4 sigue las instrucciones (erróneas) con mayor precisión. Nuestro trabajo ilustra una evaluación exhaustiva de la confiabilidad de los modelos GPT y arroja luz sobre las brechas en su confiabilidad. Nuestro punto de referencia está disponible públicamente en https://decodingtrust.github.io/.

English

Generative Pre-trained Transformer (GPT) models have exhibited exciting progress in capabilities, capturing the interest of practitioners and the public alike. Yet, while the literature on the trustworthiness of GPT models remains limited, practitioners have proposed employing capable GPT models for sensitive applications to healthcare and finance - where mistakes can be costly. To this end, this work proposes a comprehensive trustworthiness evaluation for large language models with a focus on GPT-4 and GPT-3.5, considering diverse perspectives - including toxicity, stereotype bias, adversarial robustness, out-of-distribution robustness, robustness on adversarial demonstrations, privacy, machine ethics, and fairness. Based on our evaluations, we discover previously unpublished vulnerabilities to trustworthiness threats. For instance, we find that GPT models can be easily misled to generate toxic and biased outputs and leak private information in both training data and conversation history. We also find that although GPT-4 is usually more trustworthy than GPT-3.5 on standard benchmarks, GPT-4 is more vulnerable given jailbreaking system or user prompts, potentially due to the reason that GPT-4 follows the (misleading) instructions more precisely. Our work illustrates a comprehensive trustworthiness evaluation of GPT models and sheds light on the trustworthiness gaps. Our benchmark is publicly available at https://decodingtrust.github.io/.