LLM-DetectAIve : un outil pour la détection fine de texte généré par machine

LLM-DetectAIve: a Tool for Fine-Grained Machine-Generated Text Detection

August 8, 2024

Auteurs: Mervat Abassy, Kareem Elozeiri, Alexander Aziz, Minh Ngoc Ta, Raj Vardhan Tomar, Bimarsha Adhikari, Saad El Dine Ahmed, Yuxia Wang, Osama Mohammed Afzal, Zhuohan Xie, Jonibek Mansurov, Ekaterina Artemova, Vladislav Mikhailov, Rui Xing, Jiahui Geng, Hasan Iqbal, Zain Muhammad Mujahid, Tarek Mahmoud, Akim Tsvigun, Alham Fikri Aji, Artem Shelmanov, Nizar Habash, Iryna Gurevych, Preslav Nakov

cs.AI

Résumé

L'accessibilité généralisée des grands modèles de langage (LLMs) au grand public a considérablement amplifié la diffusion de textes générés par machine (MGTs). Les avancées dans la manipulation des prompts ont exacerbé la difficulté à déterminer l'origine d'un texte (écrit par un humain vs généré par machine). Cela soulève des inquiétudes concernant l'utilisation abusive potentielle des MGTs, en particulier dans les domaines éducatifs et académiques. Dans cet article, nous présentons LLM-DetectAIve — un système conçu pour la détection fine des MGTs. Il est capable de classer les textes en quatre catégories : écrit par un humain, généré par machine, écrit par machine puis humanisé, et écrit par un humain puis poli par machine. Contrairement aux détecteurs de MGTs précédents qui effectuent une classification binaire, l'introduction de deux catégories supplémentaires dans LLM-DetectAIve offre des insights sur les différents degrés d'intervention des LLMs lors de la création de texte. Cela pourrait être utile dans certains domaines comme l'éducation, où toute intervention des LLMs est généralement interdite. Les expériences montrent que LLM-DetectAIve peut identifier efficacement la paternité du contenu textuel, prouvant son utilité pour renforcer l'intégrité dans l'éducation, l'académie et d'autres domaines. LLM-DetectAIve est accessible publiquement à l'adresse https://huggingface.co/spaces/raj-tomar001/MGT-New. La vidéo décrivant notre système est disponible à l'adresse https://youtu.be/E8eT_bE7k8c.

English

The widespread accessibility of large language models (LLMs) to the general public has significantly amplified the dissemination of machine-generated texts (MGTs). Advancements in prompt manipulation have exacerbated the difficulty in discerning the origin of a text (human-authored vs machinegenerated). This raises concerns regarding the potential misuse of MGTs, particularly within educational and academic domains. In this paper, we present LLM-DetectAIve -- a system designed for fine-grained MGT detection. It is able to classify texts into four categories: human-written, machine-generated, machine-written machine-humanized, and human-written machine-polished. Contrary to previous MGT detectors that perform binary classification, introducing two additional categories in LLM-DetectiAIve offers insights into the varying degrees of LLM intervention during the text creation. This might be useful in some domains like education, where any LLM intervention is usually prohibited. Experiments show that LLM-DetectAIve can effectively identify the authorship of textual content, proving its usefulness in enhancing integrity in education, academia, and other domains. LLM-DetectAIve is publicly accessible at https://huggingface.co/spaces/raj-tomar001/MGT-New. The video describing our system is available at https://youtu.be/E8eT_bE7k8c.