GPT-Sentinel : Distinguer le contenu humain de celui généré par ChatGPT

GPT-Sentinel: Distinguishing Human and ChatGPT Generated Content

May 13, 2023

Auteurs: Yutian Chen, Hao Kang, Vivian Zhai, Liangze Li, Rita Singh, Bhiksha Ramakrishnan

cs.AI

Résumé

Cet article présente une nouvelle approche pour détecter les textes générés par ChatGPT par rapport à ceux écrits par des humains, en utilisant des modèles de langage. À cette fin, nous avons d'abord collecté et publié un ensemble de données prétraité nommé OpenGPTText, qui contient des contenus reformulés générés à l'aide de ChatGPT. Nous avons ensuite conçu, implémenté et entraîné deux modèles différents pour la classification de texte, utilisant respectivement l'approche de prétraitement BERT optimisée de manière robuste (RoBERTa) et le transformeur de transfert texte-à-texte (T5). Nos modèles ont obtenu des résultats remarquables, avec une précision de plus de 97 % sur l'ensemble de données de test, évaluée à travers diverses métriques. De plus, nous avons mené une étude d'interprétabilité pour démontrer la capacité de notre modèle à extraire et à différencier les caractéristiques clés entre les textes écrits par des humains et ceux générés par ChatGPT. Nos résultats fournissent des insights importants sur l'utilisation efficace des modèles de langage pour détecter les textes générés.

English

This paper presents a novel approach for detecting ChatGPT-generated vs. human-written text using language models. To this end, we first collected and released a pre-processed dataset named OpenGPTText, which consists of rephrased content generated using ChatGPT. We then designed, implemented, and trained two different models for text classification, using Robustly Optimized BERT Pretraining Approach (RoBERTa) and Text-to-Text Transfer Transformer (T5), respectively. Our models achieved remarkable results, with an accuracy of over 97% on the test dataset, as evaluated through various metrics. Furthermore, we conducted an interpretability study to showcase our model's ability to extract and differentiate key features between human-written and ChatGPT-generated text. Our findings provide important insights into the effective use of language models to detect generated text.