GPT-Sentinel: Distinguindo Conteúdo Gerado por Humanos e ChatGPT

GPT-Sentinel: Distinguishing Human and ChatGPT Generated Content

May 13, 2023

Autores: Yutian Chen, Hao Kang, Vivian Zhai, Liangze Li, Rita Singh, Bhiksha Ramakrishnan

cs.AI

Resumo

Este artigo apresenta uma abordagem inovadora para detectar textos gerados pelo ChatGPT versus textos escritos por humanos, utilizando modelos de linguagem. Para isso, inicialmente coletamos e disponibilizamos um conjunto de dados pré-processado chamado OpenGPTText, que consiste em conteúdos reformulados gerados pelo ChatGPT. Em seguida, projetamos, implementamos e treinamos dois modelos diferentes para classificação de texto, utilizando respectivamente a Abordagem de Pré-treinamento BERT Otimizada de Forma Robusta (RoBERTa) e o Transformador de Transferência Texto-para-Texto (T5). Nossos modelos alcançaram resultados notáveis, com uma precisão superior a 97% no conjunto de testes, conforme avaliado por diversas métricas. Além disso, realizamos um estudo de interpretabilidade para demonstrar a capacidade do nosso modelo de extrair e diferenciar características-chave entre textos escritos por humanos e textos gerados pelo ChatGPT. Nossas descobertas fornecem insights importantes sobre o uso eficaz de modelos de linguagem para detectar textos gerados.

English

This paper presents a novel approach for detecting ChatGPT-generated vs. human-written text using language models. To this end, we first collected and released a pre-processed dataset named OpenGPTText, which consists of rephrased content generated using ChatGPT. We then designed, implemented, and trained two different models for text classification, using Robustly Optimized BERT Pretraining Approach (RoBERTa) and Text-to-Text Transfer Transformer (T5), respectively. Our models achieved remarkable results, with an accuracy of over 97% on the test dataset, as evaluated through various metrics. Furthermore, we conducted an interpretability study to showcase our model's ability to extract and differentiate key features between human-written and ChatGPT-generated text. Our findings provide important insights into the effective use of language models to detect generated text.