GPT-Sentinel: 인간과 ChatGPT 생성 콘텐츠 구분하기

초록

본 논문은 언어 모델을 활용하여 ChatGPT 생성 텍스트와 인간 작성 텍스트를 탐지하는 새로운 접근 방식을 제시한다. 이를 위해 먼저 ChatGPT를 사용해 재구성된 콘텐츠로 구성된 전처리된 데이터셋인 OpenGPTText를 수집 및 공개하였다. 이후 Robustly Optimized BERT Pretraining Approach(RoBERTa)와 Text-to-Text Transfer Transformer(T5)를 각각 사용하여 텍스트 분류를 위한 두 가지 모델을 설계, 구현, 학습시켰다. 우리의 모델은 다양한 평가 지표를 통해 테스트 데이터셋에서 97% 이상의 정확도를 달성하며 뛰어난 성과를 보였다. 더불어, 인간 작성 텍스트와 ChatGPT 생성 텍스트 간의 주요 특징을 추출하고 구분하는 모델의 능력을 보여주기 위해 해석 가능성 연구를 수행하였다. 본 연구 결과는 생성 텍스트 탐지를 위한 언어 모델의 효과적 활용에 대한 중요한 통찰을 제공한다.

English

This paper presents a novel approach for detecting ChatGPT-generated vs. human-written text using language models. To this end, we first collected and released a pre-processed dataset named OpenGPTText, which consists of rephrased content generated using ChatGPT. We then designed, implemented, and trained two different models for text classification, using Robustly Optimized BERT Pretraining Approach (RoBERTa) and Text-to-Text Transfer Transformer (T5), respectively. Our models achieved remarkable results, with an accuracy of over 97% on the test dataset, as evaluated through various metrics. Furthermore, we conducted an interpretability study to showcase our model's ability to extract and differentiate key features between human-written and ChatGPT-generated text. Our findings provide important insights into the effective use of language models to detect generated text.

GPT-Sentinel: 인간과 ChatGPT 생성 콘텐츠 구분하기

GPT-Sentinel: Distinguishing Human and ChatGPT Generated Content

초록

Support