GPT-Sentinel: Distinguere il contenuto generato da esseri umani e da ChatGPT

GPT-Sentinel: Distinguishing Human and ChatGPT Generated Content

May 13, 2023

Autori: Yutian Chen, Hao Kang, Vivian Zhai, Liangze Li, Rita Singh, Bhiksha Ramakrishnan

cs.AI

Abstract

Questo articolo presenta un approccio innovativo per rilevare testi generati da ChatGPT rispetto a quelli scritti da esseri umani, utilizzando modelli linguistici. A tal fine, abbiamo prima raccolto e rilasciato un dataset pre-elaborato denominato OpenGPTText, composto da contenuti riformulati generati tramite ChatGPT. Successivamente, abbiamo progettato, implementato e addestrato due diversi modelli per la classificazione del testo, utilizzando rispettivamente il Robustly Optimized BERT Pretraining Approach (RoBERTa) e il Text-to-Text Transfer Transformer (T5). I nostri modelli hanno ottenuto risultati notevoli, con un'accuratezza superiore al 97% sul dataset di test, valutata attraverso varie metriche. Inoltre, abbiamo condotto uno studio di interpretabilità per dimostrare la capacità del nostro modello di estrarre e differenziare le caratteristiche chiave tra testi scritti da esseri umani e quelli generati da ChatGPT. I nostri risultati forniscono importanti approfondimenti sull'uso efficace dei modelli linguistici per rilevare testi generati.

English

This paper presents a novel approach for detecting ChatGPT-generated vs. human-written text using language models. To this end, we first collected and released a pre-processed dataset named OpenGPTText, which consists of rephrased content generated using ChatGPT. We then designed, implemented, and trained two different models for text classification, using Robustly Optimized BERT Pretraining Approach (RoBERTa) and Text-to-Text Transfer Transformer (T5), respectively. Our models achieved remarkable results, with an accuracy of over 97% on the test dataset, as evaluated through various metrics. Furthermore, we conducted an interpretability study to showcase our model's ability to extract and differentiate key features between human-written and ChatGPT-generated text. Our findings provide important insights into the effective use of language models to detect generated text.