DecodingTrust: Een Uitgebreide Evaluatie van Betrouwbaarheid in GPT-modellen

DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models

June 20, 2023

Auteurs: Boxin Wang, Weixin Chen, Hengzhi Pei, Chulin Xie, Mintong Kang, Chenhui Zhang, Chejian Xu, Zidi Xiong, Ritik Dutta, Rylan Schaeffer, Sang T. Truong, Simran Arora, Mantas Mazeika, Dan Hendrycks, Zinan Lin, Yu Cheng, Sanmi Koyejo, Dawn Song, Bo Li

cs.AI

Samenvatting

Generative Pre-trained Transformer (GPT)-modellen hebben opwindende vooruitgang geboekt in hun mogelijkheden, wat de interesse heeft gewekt van zowel professionals als het grote publiek. Echter, terwijl de literatuur over de betrouwbaarheid van GPT-modellen beperkt blijft, hebben professionals voorgesteld om krachtige GPT-modellen in te zetten voor gevoelige toepassingen in de gezondheidszorg en financiën - waar fouten kostbaar kunnen zijn. Daarom stelt dit werk een uitgebreide evaluatie van de betrouwbaarheid voor grote taalmodellen voor, met een focus op GPT-4 en GPT-3.5, waarbij diverse perspectieven worden overwogen - waaronder toxiciteit, stereotyperingsbias, adversariële robuustheid, robuustheid buiten de distributie, robuustheid op adversariële demonstraties, privacy, machine-ethiek en eerlijkheid. Op basis van onze evaluaties ontdekken we eerder niet gepubliceerde kwetsbaarheden voor bedreigingen van de betrouwbaarheid. Zo stellen we vast dat GPT-modellen gemakkelijk misleid kunnen worden om giftige en bevooroordeelde uitvoer te genereren en privé-informatie te lekken, zowel uit trainingsdata als uit gespreksgeschiedenis. We ontdekken ook dat hoewel GPT-4 over het algemeen betrouwbaarder is dan GPT-3.5 op standaard benchmarks, GPT-4 kwetsbaarder is bij het jailbreaken van het systeem of gebruikersprompts, mogelijk omdat GPT-4 de (misleidende) instructies nauwkeuriger opvolgt. Ons werk illustreert een uitgebreide evaluatie van de betrouwbaarheid van GPT-modellen en werpt licht op de hiaten in betrouwbaarheid. Onze benchmark is publiekelijk beschikbaar op https://decodingtrust.github.io/.

English

Generative Pre-trained Transformer (GPT) models have exhibited exciting progress in capabilities, capturing the interest of practitioners and the public alike. Yet, while the literature on the trustworthiness of GPT models remains limited, practitioners have proposed employing capable GPT models for sensitive applications to healthcare and finance - where mistakes can be costly. To this end, this work proposes a comprehensive trustworthiness evaluation for large language models with a focus on GPT-4 and GPT-3.5, considering diverse perspectives - including toxicity, stereotype bias, adversarial robustness, out-of-distribution robustness, robustness on adversarial demonstrations, privacy, machine ethics, and fairness. Based on our evaluations, we discover previously unpublished vulnerabilities to trustworthiness threats. For instance, we find that GPT models can be easily misled to generate toxic and biased outputs and leak private information in both training data and conversation history. We also find that although GPT-4 is usually more trustworthy than GPT-3.5 on standard benchmarks, GPT-4 is more vulnerable given jailbreaking system or user prompts, potentially due to the reason that GPT-4 follows the (misleading) instructions more precisely. Our work illustrates a comprehensive trustworthiness evaluation of GPT models and sheds light on the trustworthiness gaps. Our benchmark is publicly available at https://decodingtrust.github.io/.