LLM-DetectAIve: 세밀한 수준의 기계 생성 텍스트 감지를 위한 도구

LLM-DetectAIve: a Tool for Fine-Grained Machine-Generated Text Detection

August 8, 2024

저자: Mervat Abassy, Kareem Elozeiri, Alexander Aziz, Minh Ngoc Ta, Raj Vardhan Tomar, Bimarsha Adhikari, Saad El Dine Ahmed, Yuxia Wang, Osama Mohammed Afzal, Zhuohan Xie, Jonibek Mansurov, Ekaterina Artemova, Vladislav Mikhailov, Rui Xing, Jiahui Geng, Hasan Iqbal, Zain Muhammad Mujahid, Tarek Mahmoud, Akim Tsvigun, Alham Fikri Aji, Artem Shelmanov, Nizar Habash, Iryna Gurevych, Preslav Nakov

cs.AI

초록

대중에게 대규모 언어 모델 (LLM)에 대한 광범위한 접근성은 기계 생성 텍스트 (MGT)의 보급을 크게 증폭시켰습니다. 프롬프트 조작의 발전은 텍스트의 출처 (인간 작성 vs 기계 생성)를 구별하는 어려움을 악화시켰습니다. 이는 특히 교육 및 학술 분야 내에서 MGT의 잠재적 남용에 대한 우려를 불러일으킵니다. 본 논문에서는 세밀한 MGT 감지를 위해 설계된 시스템인 LLM-DetectAIve를 제시합니다. 이 시스템은 텍스트를 인간 작성, 기계 생성, 기계 작성 기계-인간화, 그리고 인간 작성 기계-연마된 네 가지 범주로 분류할 수 있습니다. LLM-DetectAIve는 이전의 MGT 감지기가 이진 분류를 수행하는 것과는 달리, 두 가지 추가 범주를 도입함으로써 텍스트 작성 과정에서의 LLM 개입의 다양한 정도에 대한 통찰을 제공합니다. 이는 교육과 같은 일부 분야에서 LLM 개입이 일반적으로 금지되어 있는 경우 유용할 수 있습니다. 실험 결과, LLM-DetectAIve가 텍스트 콘텐츠의 저작자를 효과적으로 식별할 수 있음을 보여주며, 교육, 학술 및 기타 분야에서 무결성을 향상시키는 데 유용함을 입증합니다. LLM-DetectAIve는 https://huggingface.co/spaces/raj-tomar001/MGT-New에서 공개적으로 접근할 수 있습니다. 저희 시스템을 설명하는 비디오는 https://youtu.be/E8eT_bE7k8c에서 확인할 수 있습니다.

English

The widespread accessibility of large language models (LLMs) to the general public has significantly amplified the dissemination of machine-generated texts (MGTs). Advancements in prompt manipulation have exacerbated the difficulty in discerning the origin of a text (human-authored vs machinegenerated). This raises concerns regarding the potential misuse of MGTs, particularly within educational and academic domains. In this paper, we present LLM-DetectAIve -- a system designed for fine-grained MGT detection. It is able to classify texts into four categories: human-written, machine-generated, machine-written machine-humanized, and human-written machine-polished. Contrary to previous MGT detectors that perform binary classification, introducing two additional categories in LLM-DetectiAIve offers insights into the varying degrees of LLM intervention during the text creation. This might be useful in some domains like education, where any LLM intervention is usually prohibited. Experiments show that LLM-DetectAIve can effectively identify the authorship of textual content, proving its usefulness in enhancing integrity in education, academia, and other domains. LLM-DetectAIve is publicly accessible at https://huggingface.co/spaces/raj-tomar001/MGT-New. The video describing our system is available at https://youtu.be/E8eT_bE7k8c.