LLM-DetectAIve: инструмент для обнаружения машинно-сгенерированного текста с тонкой детализацией

LLM-DetectAIve: a Tool for Fine-Grained Machine-Generated Text Detection

August 8, 2024

Авторы: Mervat Abassy, Kareem Elozeiri, Alexander Aziz, Minh Ngoc Ta, Raj Vardhan Tomar, Bimarsha Adhikari, Saad El Dine Ahmed, Yuxia Wang, Osama Mohammed Afzal, Zhuohan Xie, Jonibek Mansurov, Ekaterina Artemova, Vladislav Mikhailov, Rui Xing, Jiahui Geng, Hasan Iqbal, Zain Muhammad Mujahid, Tarek Mahmoud, Akim Tsvigun, Alham Fikri Aji, Artem Shelmanov, Nizar Habash, Iryna Gurevych, Preslav Nakov

cs.AI

Аннотация

Широкий доступ к большим языковым моделям (LLM) для широкой публики значительно увеличил распространение машинно-сгенерированных текстов (MGT). Продвижения в области манипуляции запросами усугубили сложность определения происхождения текста (написан человеком или сгенерирован машиной). Это вызывает опасения относительно потенциального злоупотребления MGT, особенно в образовательных и академических областях. В данной статье мы представляем LLM-DetectAIve - систему, разработанную для детального обнаружения MGT. Она способна классифицировать тексты на четыре категории: написанные человеком, сгенерированные машиной, написанные машиной и человеком, а также написанные человеком и отредактированные машиной. В отличие от предыдущих детекторов MGT, выполняющих бинарную классификацию, введение двух дополнительных категорий в LLM-DetectAIve предлагает понимание различных степеней вмешательства LLM в процесс создания текста. Это может быть полезно в некоторых областях, таких как образование, где любое вмешательство LLM обычно запрещено. Эксперименты показывают, что LLM-DetectAIve может эффективно определить авторство текстового контента, доказывая свою полезность в улучшении целостности в образовании, академии и других областях. LLM-DetectAIve общедоступен по адресу https://huggingface.co/spaces/raj-tomar001/MGT-New. Видео, описывающее нашу систему, доступно по ссылке https://youtu.be/E8eT_bE7k8c.

English

The widespread accessibility of large language models (LLMs) to the general public has significantly amplified the dissemination of machine-generated texts (MGTs). Advancements in prompt manipulation have exacerbated the difficulty in discerning the origin of a text (human-authored vs machinegenerated). This raises concerns regarding the potential misuse of MGTs, particularly within educational and academic domains. In this paper, we present LLM-DetectAIve -- a system designed for fine-grained MGT detection. It is able to classify texts into four categories: human-written, machine-generated, machine-written machine-humanized, and human-written machine-polished. Contrary to previous MGT detectors that perform binary classification, introducing two additional categories in LLM-DetectiAIve offers insights into the varying degrees of LLM intervention during the text creation. This might be useful in some domains like education, where any LLM intervention is usually prohibited. Experiments show that LLM-DetectAIve can effectively identify the authorship of textual content, proving its usefulness in enhancing integrity in education, academia, and other domains. LLM-DetectAIve is publicly accessible at https://huggingface.co/spaces/raj-tomar001/MGT-New. The video describing our system is available at https://youtu.be/E8eT_bE7k8c.