GPT-Sentinel: Diferenciando Contenido Generado por Humanos y ChatGPT

GPT-Sentinel: Distinguishing Human and ChatGPT Generated Content

May 13, 2023

Autores: Yutian Chen, Hao Kang, Vivian Zhai, Liangze Li, Rita Singh, Bhiksha Ramakrishnan

cs.AI

Resumen

Este artículo presenta un enfoque novedoso para detectar texto generado por ChatGPT frente a texto escrito por humanos utilizando modelos de lenguaje. Para ello, primero recopilamos y publicamos un conjunto de datos preprocesado llamado OpenGPTText, que consiste en contenido reformulado generado mediante ChatGPT. Luego, diseñamos, implementamos y entrenamos dos modelos diferentes para la clasificación de texto, utilizando el Enfoque de Pretraining Optimizado Robusto de BERT (RoBERTa) y el Transformer de Transferencia de Texto a Texto (T5), respectivamente. Nuestros modelos lograron resultados notables, con una precisión superior al 97% en el conjunto de datos de prueba, evaluada mediante diversas métricas. Además, realizamos un estudio de interpretabilidad para demostrar la capacidad de nuestro modelo para extraer y diferenciar características clave entre el texto escrito por humanos y el generado por ChatGPT. Nuestros hallazgos proporcionan insights importantes sobre el uso efectivo de modelos de lenguaje para detectar texto generado.

English

This paper presents a novel approach for detecting ChatGPT-generated vs. human-written text using language models. To this end, we first collected and released a pre-processed dataset named OpenGPTText, which consists of rephrased content generated using ChatGPT. We then designed, implemented, and trained two different models for text classification, using Robustly Optimized BERT Pretraining Approach (RoBERTa) and Text-to-Text Transfer Transformer (T5), respectively. Our models achieved remarkable results, with an accuracy of over 97% on the test dataset, as evaluated through various metrics. Furthermore, we conducted an interpretability study to showcase our model's ability to extract and differentiate key features between human-written and ChatGPT-generated text. Our findings provide important insights into the effective use of language models to detect generated text.