GPT-Sentinel: 人間とChatGPT生成コンテンツの識別

GPT-Sentinel: Distinguishing Human and ChatGPT Generated Content

May 13, 2023

著者: Yutian Chen, Hao Kang, Vivian Zhai, Liangze Li, Rita Singh, Bhiksha Ramakrishnan

cs.AI

要旨

本論文では、言語モデルを用いてChatGPT生成テキストと人間執筆テキストを検出するための新規アプローチを提案する。まず、ChatGPTを用いて生成された言い換えコンテンツから構成される前処理済みデータセット「OpenGPTText」を収集・公開した。次に、テキスト分類のための2つの異なるモデルを設計・実装・学習させた。それぞれ、Robustly Optimized BERT Pretraining Approach（RoBERTa）とText-to-Text Transfer Transformer（T5）を使用している。我々のモデルは、様々な評価指標を通じてテストデータセットにおいて97%以上の精度を達成し、顕著な結果を示した。さらに、解釈可能性研究を実施し、人間執筆テキストとChatGPT生成テキストの間の主要な特徴を抽出・区別するモデルの能力を実証した。本研究の知見は、生成テキストを検出するための言語モデルの効果的な使用に関する重要な洞察を提供する。

English

This paper presents a novel approach for detecting ChatGPT-generated vs. human-written text using language models. To this end, we first collected and released a pre-processed dataset named OpenGPTText, which consists of rephrased content generated using ChatGPT. We then designed, implemented, and trained two different models for text classification, using Robustly Optimized BERT Pretraining Approach (RoBERTa) and Text-to-Text Transfer Transformer (T5), respectively. Our models achieved remarkable results, with an accuracy of over 97% on the test dataset, as evaluated through various metrics. Furthermore, we conducted an interpretability study to showcase our model's ability to extract and differentiate key features between human-written and ChatGPT-generated text. Our findings provide important insights into the effective use of language models to detect generated text.