LLM-DetectAIve: uma Ferramenta para Detecção de Texto Gerado por Máquina em Detalhes.

LLM-DetectAIve: a Tool for Fine-Grained Machine-Generated Text Detection

August 8, 2024

Autores: Mervat Abassy, Kareem Elozeiri, Alexander Aziz, Minh Ngoc Ta, Raj Vardhan Tomar, Bimarsha Adhikari, Saad El Dine Ahmed, Yuxia Wang, Osama Mohammed Afzal, Zhuohan Xie, Jonibek Mansurov, Ekaterina Artemova, Vladislav Mikhailov, Rui Xing, Jiahui Geng, Hasan Iqbal, Zain Muhammad Mujahid, Tarek Mahmoud, Akim Tsvigun, Alham Fikri Aji, Artem Shelmanov, Nizar Habash, Iryna Gurevych, Preslav Nakov

cs.AI

Resumo

A ampla acessibilidade de grandes modelos de linguagem (LLMs) ao público em geral ampliou significativamente a disseminação de textos gerados por máquina (MGTs). Avanços na manipulação de prompts têm exacerbado a dificuldade em discernir a origem de um texto (escrito por humanos versus gerado por máquina). Isso levanta preocupações sobre o potencial uso indevido de MGTs, especialmente dentro de domínios educacionais e acadêmicos. Neste artigo, apresentamos o LLM-DetectAIve - um sistema projetado para detecção detalhada de MGTs. Ele é capaz de classificar textos em quatro categorias: escritos por humanos, gerados por máquina, escritos por máquina humanizados e escritos por humanos e polidos por máquina. Ao contrário dos detectores de MGT anteriores que realizam classificação binária, a introdução de duas categorias adicionais no LLM-DetectAIve oferece insights sobre os diferentes graus de intervenção do LLM durante a criação do texto. Isso pode ser útil em alguns domínios, como a educação, onde qualquer intervenção do LLM é geralmente proibida. Experimentos mostram que o LLM-DetectAIve pode identificar efetivamente a autoria de conteúdo textual, comprovando sua utilidade em aprimorar a integridade na educação, academia e outros domínios. O LLM-DetectAIve está publicamente acessível em https://huggingface.co/spaces/raj-tomar001/MGT-New. O vídeo descrevendo nosso sistema está disponível em https://youtu.be/E8eT_bE7k8c.

English

The widespread accessibility of large language models (LLMs) to the general public has significantly amplified the dissemination of machine-generated texts (MGTs). Advancements in prompt manipulation have exacerbated the difficulty in discerning the origin of a text (human-authored vs machinegenerated). This raises concerns regarding the potential misuse of MGTs, particularly within educational and academic domains. In this paper, we present LLM-DetectAIve -- a system designed for fine-grained MGT detection. It is able to classify texts into four categories: human-written, machine-generated, machine-written machine-humanized, and human-written machine-polished. Contrary to previous MGT detectors that perform binary classification, introducing two additional categories in LLM-DetectiAIve offers insights into the varying degrees of LLM intervention during the text creation. This might be useful in some domains like education, where any LLM intervention is usually prohibited. Experiments show that LLM-DetectAIve can effectively identify the authorship of textual content, proving its usefulness in enhancing integrity in education, academia, and other domains. LLM-DetectAIve is publicly accessible at https://huggingface.co/spaces/raj-tomar001/MGT-New. The video describing our system is available at https://youtu.be/E8eT_bE7k8c.