신경망 모델 비교 프레임워크를 통한 생성형 AI 텍스트 자동 탐지

초록

대규모 언어 모델의 급속한 확산은 인간이 작성한 텍스트와 AI 생성 텍스트를 구분하는 작업의 난이도를 크게 높여 학술, 편집, 사회적 영역 전반에 걸쳐 중요한 문제를 제기하고 있다. 본 논문은 여러 머신러닝 기반 탐지기를 설계, 구현, 비교 평가함으로써 AI 생성 텍스트 탐지 문제를 연구한다. 다층 퍼셉트론, 1차원 합성곱 신경망, MobileNet 기반 CNN, Transformer 모델 등 총 4가지 신경망 아키텍처를 개발하고 분석하였다. 제안된 모델들은 ZeroGPT, GPTZero, QuillBot, Originality.AI, Sapling, IsGen, Rephrase, Writer 등 널리 사용되는 온라인 탐지기들과 성능을 비교 평가하였다. COLING 다국어 데이터셋의 영어 및 이탈리아어 설정과 예술 및 정신 건강에 초점을 맞춘 독자적인 주제 데이터셋을 대상으로 실험을 진행하였다. 결과에 따르면 지도 학습 기반 탐지기는 상용 도구들보다 다양한 언어와 도메인에서 더 안정적이고 강력한 성능을 달성하여, 현재 탐지 전략의 주요 강점과 한계를 부각시켰다.

English

The rapid proliferation of Large Language Models has significantly increased the difficulty of distinguishing between human-written and AI generated texts, raising critical issues across academic, editorial, and social domains. This paper investigates the problem of AI generated text detection through the design, implementation, and comparative evaluation of multiple machine learning based detectors. Four neural architectures are developed and analyzed: a Multilayer Perceptron, a one-dimensional Convolutional Neural Network, a MobileNet-based CNN, and a Transformer model. The proposed models are benchmarked against widely used online detectors, including ZeroGPT, GPTZero, QuillBot, Originality.AI, Sapling, IsGen, Rephrase, and Writer. Experiments are conducted on the COLING Multilingual Dataset, considering both English and Italian configurations, as well as on an original thematic dataset focused on Art and Mental Health. Results show that supervised detectors achieve more stable and robust performance than commercial tools across different languages and domains, highlighting key strengths and limitations of current detection strategies.

신경망 모델 비교 프레임워크를 통한 생성형 AI 텍스트 자동 탐지

Automatic detection of Gen-AI texts: A comparative framework of neural models

초록

Support