DecodingTrust: Una Valutazione Completa dell'Affidabilità nei Modelli GPT

DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models

June 20, 2023

Autori: Boxin Wang, Weixin Chen, Hengzhi Pei, Chulin Xie, Mintong Kang, Chenhui Zhang, Chejian Xu, Zidi Xiong, Ritik Dutta, Rylan Schaeffer, Sang T. Truong, Simran Arora, Mantas Mazeika, Dan Hendrycks, Zinan Lin, Yu Cheng, Sanmi Koyejo, Dawn Song, Bo Li

cs.AI

Abstract

I modelli Generative Pre-trained Transformer (GPT) hanno dimostrato progressi entusiasmanti nelle capacità, catturando l'interesse sia dei professionisti che del pubblico. Tuttavia, mentre la letteratura sull'affidabilità dei modelli GPT rimane limitata, i professionisti hanno proposto di impiegare modelli GPT avanzati per applicazioni sensibili in ambito sanitario e finanziario, dove gli errori possono essere costosi. A tal fine, questo lavoro propone una valutazione completa dell'affidabilità per i grandi modelli linguistici, con un focus su GPT-4 e GPT-3.5, considerando diverse prospettive, tra cui tossicità, pregiudizi stereotipati, robustezza agli attacchi avversari, robustezza fuori distribuzione, robustezza su dimostrazioni avversarie, privacy, etica delle macchine e equità. Sulla base delle nostre valutazioni, scopriamo vulnerabilità precedentemente non documentate alle minacce all'affidabilità. Ad esempio, troviamo che i modelli GPT possono essere facilmente indotti a generare output tossici e distorti e a rivelare informazioni private sia nei dati di addestramento che nella cronologia delle conversazioni. Troviamo inoltre che, sebbene GPT-4 sia generalmente più affidabile di GPT-3.5 sui benchmark standard, GPT-4 è più vulnerabile in caso di jailbreaking del sistema o di prompt dell'utente, potenzialmente perché GPT-4 segue le istruzioni (fuorvianti) in modo più preciso. Il nostro lavoro illustra una valutazione completa dell'affidabilità dei modelli GPT e getta luce sulle lacune in termini di affidabilità. Il nostro benchmark è disponibile pubblicamente all'indirizzo https://decodingtrust.github.io/.

English

Generative Pre-trained Transformer (GPT) models have exhibited exciting progress in capabilities, capturing the interest of practitioners and the public alike. Yet, while the literature on the trustworthiness of GPT models remains limited, practitioners have proposed employing capable GPT models for sensitive applications to healthcare and finance - where mistakes can be costly. To this end, this work proposes a comprehensive trustworthiness evaluation for large language models with a focus on GPT-4 and GPT-3.5, considering diverse perspectives - including toxicity, stereotype bias, adversarial robustness, out-of-distribution robustness, robustness on adversarial demonstrations, privacy, machine ethics, and fairness. Based on our evaluations, we discover previously unpublished vulnerabilities to trustworthiness threats. For instance, we find that GPT models can be easily misled to generate toxic and biased outputs and leak private information in both training data and conversation history. We also find that although GPT-4 is usually more trustworthy than GPT-3.5 on standard benchmarks, GPT-4 is more vulnerable given jailbreaking system or user prompts, potentially due to the reason that GPT-4 follows the (misleading) instructions more precisely. Our work illustrates a comprehensive trustworthiness evaluation of GPT models and sheds light on the trustworthiness gaps. Our benchmark is publicly available at https://decodingtrust.github.io/.