GPT-Sentinel: Различение контента, созданного человеком и ChatGPT

GPT-Sentinel: Distinguishing Human and ChatGPT Generated Content

May 13, 2023

Авторы: Yutian Chen, Hao Kang, Vivian Zhai, Liangze Li, Rita Singh, Bhiksha Ramakrishnan

cs.AI

Аннотация

В данной статье представлен новый подход для различения текстов, созданных ChatGPT, и текстов, написанных человеком, с использованием языковых моделей. Для этого мы сначала собрали и опубликовали предварительно обработанный набор данных под названием OpenGPTText, состоящий из перефразированного контента, сгенерированного с помощью ChatGPT. Затем мы разработали, реализовали и обучили две различные модели для классификации текста, используя Robustly Optimized BERT Pretraining Approach (RoBERTa) и Text-to-Text Transfer Transformer (T5) соответственно. Наши модели продемонстрировали выдающиеся результаты, достигнув точности более 97% на тестовом наборе данных, что было подтверждено с помощью различных метрик. Кроме того, мы провели исследование интерпретируемости, чтобы продемонстрировать способность нашей модели извлекать и различать ключевые особенности между текстами, написанными человеком, и текстами, сгенерированными ChatGPT. Наши результаты предоставляют важные инсайты для эффективного использования языковых моделей в обнаружении сгенерированных текстов.

English

This paper presents a novel approach for detecting ChatGPT-generated vs. human-written text using language models. To this end, we first collected and released a pre-processed dataset named OpenGPTText, which consists of rephrased content generated using ChatGPT. We then designed, implemented, and trained two different models for text classification, using Robustly Optimized BERT Pretraining Approach (RoBERTa) and Text-to-Text Transfer Transformer (T5), respectively. Our models achieved remarkable results, with an accuracy of over 97% on the test dataset, as evaluated through various metrics. Furthermore, we conducted an interpretability study to showcase our model's ability to extract and differentiate key features between human-written and ChatGPT-generated text. Our findings provide important insights into the effective use of language models to detect generated text.