LLM-DetectAIve: una herramienta para la detección de texto generado por máquinas detallada.

LLM-DetectAIve: a Tool for Fine-Grained Machine-Generated Text Detection

August 8, 2024

Autores: Mervat Abassy, Kareem Elozeiri, Alexander Aziz, Minh Ngoc Ta, Raj Vardhan Tomar, Bimarsha Adhikari, Saad El Dine Ahmed, Yuxia Wang, Osama Mohammed Afzal, Zhuohan Xie, Jonibek Mansurov, Ekaterina Artemova, Vladislav Mikhailov, Rui Xing, Jiahui Geng, Hasan Iqbal, Zain Muhammad Mujahid, Tarek Mahmoud, Akim Tsvigun, Alham Fikri Aji, Artem Shelmanov, Nizar Habash, Iryna Gurevych, Preslav Nakov

cs.AI

Resumen

La amplia accesibilidad de los grandes modelos de lenguaje (LLMs, por sus siglas en inglés) al público en general ha amplificado significativamente la difusión de textos generados por máquinas (MGTs). Los avances en la manipulación de indicaciones han exacerbado la dificultad para discernir el origen de un texto (escrito por humanos vs generado por máquinas). Esto plantea preocupaciones sobre el posible uso indebido de los MGTs, especialmente en ámbitos educativos y académicos. En este documento, presentamos LLM-DetectAIve, un sistema diseñado para la detección detallada de MGTs. Es capaz de clasificar textos en cuatro categorías: escritos por humanos, generados por máquinas, escritos por máquinas humanizadas y escritos por humanos y pulidos por máquinas. A diferencia de los detectores de MGT anteriores que realizan una clasificación binaria, la introducción de dos categorías adicionales en LLM-DetectAIve ofrece información sobre los diferentes grados de intervención de LLM durante la creación del texto. Esto podría ser útil en algunos ámbitos como la educación, donde generalmente se prohíbe cualquier intervención de LLM. Los experimentos muestran que LLM-DetectAIve puede identificar eficazmente la autoría del contenido textual, demostrando su utilidad para mejorar la integridad en la educación, la academia y otros ámbitos. LLM-DetectAIve está públicamente accesible en https://huggingface.co/spaces/raj-tomar001/MGT-New. El video que describe nuestro sistema está disponible en https://youtu.be/E8eT_bE7k8c.

English

The widespread accessibility of large language models (LLMs) to the general public has significantly amplified the dissemination of machine-generated texts (MGTs). Advancements in prompt manipulation have exacerbated the difficulty in discerning the origin of a text (human-authored vs machinegenerated). This raises concerns regarding the potential misuse of MGTs, particularly within educational and academic domains. In this paper, we present LLM-DetectAIve -- a system designed for fine-grained MGT detection. It is able to classify texts into four categories: human-written, machine-generated, machine-written machine-humanized, and human-written machine-polished. Contrary to previous MGT detectors that perform binary classification, introducing two additional categories in LLM-DetectiAIve offers insights into the varying degrees of LLM intervention during the text creation. This might be useful in some domains like education, where any LLM intervention is usually prohibited. Experiments show that LLM-DetectAIve can effectively identify the authorship of textual content, proving its usefulness in enhancing integrity in education, academia, and other domains. LLM-DetectAIve is publicly accessible at https://huggingface.co/spaces/raj-tomar001/MGT-New. The video describing our system is available at https://youtu.be/E8eT_bE7k8c.