DecodingTrust: Eine umfassende Bewertung der Vertrauenswürdigkeit von GPT-Modellen

DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models

June 20, 2023

Autoren: Boxin Wang, Weixin Chen, Hengzhi Pei, Chulin Xie, Mintong Kang, Chenhui Zhang, Chejian Xu, Zidi Xiong, Ritik Dutta, Rylan Schaeffer, Sang T. Truong, Simran Arora, Mantas Mazeika, Dan Hendrycks, Zinan Lin, Yu Cheng, Sanmi Koyejo, Dawn Song, Bo Li

cs.AI

Zusammenfassung

Generative Pre-trained Transformer (GPT)-Modelle haben beeindruckende Fortschritte in ihren Fähigkeiten gezeigt und damit das Interesse von Praktikern und der Öffentlichkeit gleichermaßen geweckt. Dennoch, während die Literatur zur Vertrauenswürdigkeit von GPT-Modellen noch begrenzt ist, haben Praktiker vorgeschlagen, leistungsstarke GPT-Modelle für sensible Anwendungen im Gesundheitswesen und im Finanzbereich einzusetzen – wo Fehler kostspielig sein können. Zu diesem Zweck schlägt diese Arbeit eine umfassende Bewertung der Vertrauenswürdigkeit für große Sprachmodelle mit einem Fokus auf GPT-4 und GPT-3.5 vor, wobei verschiedene Perspektiven berücksichtigt werden – einschließlich Toxizität, Stereotypen-Bias, adversarieller Robustheit, Robustheit bei Out-of-Distribution-Daten, Robustheit gegenüber adversariellen Demonstrationen, Datenschutz, Maschinenethik und Fairness. Basierend auf unseren Bewertungen entdecken wir bisher unveröffentlichte Schwachstellen in Bezug auf Vertrauenswürdigkeitsbedrohungen. Beispielsweise stellen wir fest, dass GPT-Modelle leicht dazu verleitet werden können, toxische und voreingenommene Ausgaben zu generieren und private Informationen sowohl aus den Trainingsdaten als auch aus dem Konversationsverlauf preiszugeben. Wir stellen außerdem fest, dass GPT-4 zwar in der Regel vertrauenswürdiger ist als GPT-3.5 bei Standard-Benchmarks, GPT-4 jedoch anfälliger ist, wenn es um Jailbreaking-Systeme oder Benutzeranweisungen geht, möglicherweise weil GPT-4 die (irreführenden) Anweisungen präziser befolgt. Unsere Arbeit veranschaulicht eine umfassende Bewertung der Vertrauenswürdigkeit von GPT-Modellen und beleuchtet die Lücken in der Vertrauenswürdigkeit. Unser Benchmark ist öffentlich verfügbar unter https://decodingtrust.github.io/.

English

Generative Pre-trained Transformer (GPT) models have exhibited exciting progress in capabilities, capturing the interest of practitioners and the public alike. Yet, while the literature on the trustworthiness of GPT models remains limited, practitioners have proposed employing capable GPT models for sensitive applications to healthcare and finance - where mistakes can be costly. To this end, this work proposes a comprehensive trustworthiness evaluation for large language models with a focus on GPT-4 and GPT-3.5, considering diverse perspectives - including toxicity, stereotype bias, adversarial robustness, out-of-distribution robustness, robustness on adversarial demonstrations, privacy, machine ethics, and fairness. Based on our evaluations, we discover previously unpublished vulnerabilities to trustworthiness threats. For instance, we find that GPT models can be easily misled to generate toxic and biased outputs and leak private information in both training data and conversation history. We also find that although GPT-4 is usually more trustworthy than GPT-3.5 on standard benchmarks, GPT-4 is more vulnerable given jailbreaking system or user prompts, potentially due to the reason that GPT-4 follows the (misleading) instructions more precisely. Our work illustrates a comprehensive trustworthiness evaluation of GPT models and sheds light on the trustworthiness gaps. Our benchmark is publicly available at https://decodingtrust.github.io/.