LLM-DetectAIve: een tool voor gedetailleerde detectie van machinaal gegenereerde tekst

LLM-DetectAIve: a Tool for Fine-Grained Machine-Generated Text Detection

August 8, 2024

Auteurs: Mervat Abassy, Kareem Elozeiri, Alexander Aziz, Minh Ngoc Ta, Raj Vardhan Tomar, Bimarsha Adhikari, Saad El Dine Ahmed, Yuxia Wang, Osama Mohammed Afzal, Zhuohan Xie, Jonibek Mansurov, Ekaterina Artemova, Vladislav Mikhailov, Rui Xing, Jiahui Geng, Hasan Iqbal, Zain Muhammad Mujahid, Tarek Mahmoud, Akim Tsvigun, Alham Fikri Aji, Artem Shelmanov, Nizar Habash, Iryna Gurevych, Preslav Nakov

cs.AI

Samenvatting

De brede toegankelijkheid van grote taalmodellen (LLM's) voor het algemene publiek heeft de verspreiding van machine-gegenereerde teksten (MGT's) aanzienlijk vergroot. Vooruitgangen in promptmanipulatie hebben de moeilijkheid verergerd om de oorsprong van een tekst te bepalen (door mensen geschreven versus machine-gegenereerd). Dit roept zorgen op over het mogelijke misbruik van MGT's, met name binnen educatieve en academische domeinen. In dit artikel presenteren we LLM-DetectAIve – een systeem ontworpen voor gedetailleerde MGT-detectie. Het is in staat om teksten in vier categorieën te classificeren: door mensen geschreven, machine-gegenereerd, door machines geschreven en door mensen aangepast, en door mensen geschreven en door machines gepolijst. In tegenstelling tot eerdere MGT-detectoren die een binaire classificatie uitvoeren, biedt de introductie van twee aanvullende categorieën in LLM-DetectAIve inzicht in de verschillende gradaties van LLM-interventie tijdens het tekstcreatieproces. Dit kan nuttig zijn in domeinen zoals onderwijs, waar elke vorm van LLM-interventie meestal verboden is. Experimenten tonen aan dat LLM-DetectAIve effectief de auteurschap van tekstuele inhoud kan identificeren, wat het nut ervan aantoont bij het bevorderen van integriteit in onderwijs, academische wereld en andere domeinen. LLM-DetectAIve is publiek toegankelijk op https://huggingface.co/spaces/raj-tomar001/MGT-New. De video die ons systeem beschrijft, is beschikbaar op https://youtu.be/E8eT_bE7k8c.

English

The widespread accessibility of large language models (LLMs) to the general public has significantly amplified the dissemination of machine-generated texts (MGTs). Advancements in prompt manipulation have exacerbated the difficulty in discerning the origin of a text (human-authored vs machinegenerated). This raises concerns regarding the potential misuse of MGTs, particularly within educational and academic domains. In this paper, we present LLM-DetectAIve -- a system designed for fine-grained MGT detection. It is able to classify texts into four categories: human-written, machine-generated, machine-written machine-humanized, and human-written machine-polished. Contrary to previous MGT detectors that perform binary classification, introducing two additional categories in LLM-DetectiAIve offers insights into the varying degrees of LLM intervention during the text creation. This might be useful in some domains like education, where any LLM intervention is usually prohibited. Experiments show that LLM-DetectAIve can effectively identify the authorship of textual content, proving its usefulness in enhancing integrity in education, academia, and other domains. LLM-DetectAIve is publicly accessible at https://huggingface.co/spaces/raj-tomar001/MGT-New. The video describing our system is available at https://youtu.be/E8eT_bE7k8c.