LLM-DetectAIve: uno strumento per il rilevamento granulare di testi generati automaticamente

LLM-DetectAIve: a Tool for Fine-Grained Machine-Generated Text Detection

August 8, 2024

Autori: Mervat Abassy, Kareem Elozeiri, Alexander Aziz, Minh Ngoc Ta, Raj Vardhan Tomar, Bimarsha Adhikari, Saad El Dine Ahmed, Yuxia Wang, Osama Mohammed Afzal, Zhuohan Xie, Jonibek Mansurov, Ekaterina Artemova, Vladislav Mikhailov, Rui Xing, Jiahui Geng, Hasan Iqbal, Zain Muhammad Mujahid, Tarek Mahmoud, Akim Tsvigun, Alham Fikri Aji, Artem Shelmanov, Nizar Habash, Iryna Gurevych, Preslav Nakov

cs.AI

Abstract

La diffusa accessibilità dei grandi modelli linguistici (LLM) al pubblico generale ha significativamente amplificato la diffusione di testi generati da macchine (MGT). I progressi nella manipolazione dei prompt hanno esacerbato la difficoltà nel discernere l'origine di un testo (scritto da umani o generato da macchine). Ciò solleva preoccupazioni riguardo al potenziale uso improprio degli MGT, in particolare nei contesti educativi e accademici. In questo articolo, presentiamo LLM-DetectAIve — un sistema progettato per il rilevamento granulare degli MGT. È in grado di classificare i testi in quattro categorie: scritti da umani, generati da macchine, scritti da macchine e umanizzati, e scritti da umani e perfezionati da macchine. A differenza dei precedenti rilevatori di MGT che eseguono una classificazione binaria, l'introduzione di due categorie aggiuntive in LLM-DetectAIve offre approfondimenti sui diversi gradi di intervento degli LLM durante la creazione del testo. Questo potrebbe essere utile in alcuni ambiti come l'educazione, dove qualsiasi intervento da parte degli LLM è solitamente proibito. Gli esperimenti dimostrano che LLM-DetectAIve può identificare efficacemente la paternità dei contenuti testuali, dimostrando la sua utilità nel migliorare l'integrità nell'educazione, nell'accademia e in altri ambiti. LLM-DetectAIve è accessibile pubblicamente all'indirizzo https://huggingface.co/spaces/raj-tomar001/MGT-New. Il video che descrive il nostro sistema è disponibile all'indirizzo https://youtu.be/E8eT_bE7k8c.

English

The widespread accessibility of large language models (LLMs) to the general public has significantly amplified the dissemination of machine-generated texts (MGTs). Advancements in prompt manipulation have exacerbated the difficulty in discerning the origin of a text (human-authored vs machinegenerated). This raises concerns regarding the potential misuse of MGTs, particularly within educational and academic domains. In this paper, we present LLM-DetectAIve -- a system designed for fine-grained MGT detection. It is able to classify texts into four categories: human-written, machine-generated, machine-written machine-humanized, and human-written machine-polished. Contrary to previous MGT detectors that perform binary classification, introducing two additional categories in LLM-DetectiAIve offers insights into the varying degrees of LLM intervention during the text creation. This might be useful in some domains like education, where any LLM intervention is usually prohibited. Experiments show that LLM-DetectAIve can effectively identify the authorship of textual content, proving its usefulness in enhancing integrity in education, academia, and other domains. LLM-DetectAIve is publicly accessible at https://huggingface.co/spaces/raj-tomar001/MGT-New. The video describing our system is available at https://youtu.be/E8eT_bE7k8c.