GPT-Sentinel: Unterscheidung zwischen menschlichem und ChatGPT-generiertem Inhalt

GPT-Sentinel: Distinguishing Human and ChatGPT Generated Content

May 13, 2023

Autoren: Yutian Chen, Hao Kang, Vivian Zhai, Liangze Li, Rita Singh, Bhiksha Ramakrishnan

cs.AI

Zusammenfassung

Dieses Papier präsentiert einen neuartigen Ansatz zur Unterscheidung von ChatGPT-generierten und menschlich verfassten Texten mithilfe von Sprachmodellen. Zu diesem Zweck haben wir zunächst einen vorverarbeiteten Datensatz namens OpenGPTText gesammelt und veröffentlicht, der umformulierte Inhalte enthält, die mit ChatGPT generiert wurden. Anschließend haben wir zwei verschiedene Modelle für die Textklassifizierung entworfen, implementiert und trainiert, wobei wir den Robustly Optimized BERT Pretraining Approach (RoBERTa) und den Text-to-Text Transfer Transformer (T5) verwendet haben. Unsere Modelle erzielten bemerkenswerte Ergebnisse mit einer Genauigkeit von über 97 % auf dem Testdatensatz, wie durch verschiedene Metriken bewertet wurde. Darüber hinaus führten wir eine Interpretierbarkeitsstudie durch, um die Fähigkeit unseres Modells zu demonstrieren, Schlüsselmerkmale zwischen menschlich verfassten und ChatGPT-generierten Texten zu extrahieren und zu unterscheiden. Unsere Erkenntnisse liefern wichtige Einblicke in die effektive Nutzung von Sprachmodellen zur Erkennung generierter Texte.

English

This paper presents a novel approach for detecting ChatGPT-generated vs. human-written text using language models. To this end, we first collected and released a pre-processed dataset named OpenGPTText, which consists of rephrased content generated using ChatGPT. We then designed, implemented, and trained two different models for text classification, using Robustly Optimized BERT Pretraining Approach (RoBERTa) and Text-to-Text Transfer Transformer (T5), respectively. Our models achieved remarkable results, with an accuracy of over 97% on the test dataset, as evaluated through various metrics. Furthermore, we conducted an interpretability study to showcase our model's ability to extract and differentiate key features between human-written and ChatGPT-generated text. Our findings provide important insights into the effective use of language models to detect generated text.