GPT-Sentinel: Onderscheid maken tussen door mensen en ChatGPT gegenereerde inhoud

GPT-Sentinel: Distinguishing Human and ChatGPT Generated Content

May 13, 2023

Auteurs: Yutian Chen, Hao Kang, Vivian Zhai, Liangze Li, Rita Singh, Bhiksha Ramakrishnan

cs.AI

Samenvatting

Dit artikel presenteert een nieuwe aanpak voor het detecteren van ChatGPT-gegenereerde versus door mensen geschreven tekst met behulp van taalmodelen. Hiervoor hebben we eerst een voorbewerkt dataset genaamd OpenGPTText verzameld en vrijgegeven, dat bestaat uit herformuleerde inhoud gegenereerd met ChatGPT. Vervolgens hebben we twee verschillende modellen ontworpen, geïmplementeerd en getraind voor tekstclassificatie, waarbij we respectievelijk de Robustly Optimized BERT Pretraining Approach (RoBERTa) en de Text-to-Text Transfer Transformer (T5) hebben gebruikt. Onze modellen behaalden opmerkelijke resultaten, met een nauwkeurigheid van meer dan 97% op de testdataset, zoals geëvalueerd via verschillende metrieken. Daarnaast hebben we een interpreteerbaarheidsstudie uitgevoerd om het vermogen van ons model te tonen om belangrijke kenmerken te extraheren en te onderscheiden tussen door mensen geschreven en ChatGPT-gegenereerde tekst. Onze bevindingen bieden belangrijke inzichten in het effectieve gebruik van taalmodelen om gegenereerde tekst te detecteren.

English

This paper presents a novel approach for detecting ChatGPT-generated vs. human-written text using language models. To this end, we first collected and released a pre-processed dataset named OpenGPTText, which consists of rephrased content generated using ChatGPT. We then designed, implemented, and trained two different models for text classification, using Robustly Optimized BERT Pretraining Approach (RoBERTa) and Text-to-Text Transfer Transformer (T5), respectively. Our models achieved remarkable results, with an accuracy of over 97% on the test dataset, as evaluated through various metrics. Furthermore, we conducted an interpretability study to showcase our model's ability to extract and differentiate key features between human-written and ChatGPT-generated text. Our findings provide important insights into the effective use of language models to detect generated text.