LLM-DetectAIve: Ein Tool zur Feinabstimmung der Erkennung von maschinengenerierten Texten

LLM-DetectAIve: a Tool for Fine-Grained Machine-Generated Text Detection

August 8, 2024

Autoren: Mervat Abassy, Kareem Elozeiri, Alexander Aziz, Minh Ngoc Ta, Raj Vardhan Tomar, Bimarsha Adhikari, Saad El Dine Ahmed, Yuxia Wang, Osama Mohammed Afzal, Zhuohan Xie, Jonibek Mansurov, Ekaterina Artemova, Vladislav Mikhailov, Rui Xing, Jiahui Geng, Hasan Iqbal, Zain Muhammad Mujahid, Tarek Mahmoud, Akim Tsvigun, Alham Fikri Aji, Artem Shelmanov, Nizar Habash, Iryna Gurevych, Preslav Nakov

cs.AI

Zusammenfassung

Die weit verbreitete Zugänglichkeit großer Sprachmodelle (LLMs) für die Allgemeinheit hat die Verbreitung maschinengenerierter Texte (MGTs) erheblich verstärkt. Fortschritte bei der Eingabe-Manipulation haben die Schwierigkeit verstärkt, den Ursprung eines Textes zu erkennen (menschlich verfasst vs. maschinengeneriert). Dies wirft Bedenken hinsichtlich des potenziellen Missbrauchs von MGTs auf, insbesondere in Bildungs- und akademischen Bereichen. In diesem Artikel präsentieren wir LLM-DetectAIve - ein System, das für die feinkörnige Erkennung von MGTs entwickelt wurde. Es ist in der Lage, Texte in vier Kategorien zu klassifizieren: menschlich geschrieben, maschinengeneriert, maschinengeschrieben-menschlich, und menschlich geschliffen-maschinengeschrieben. Im Gegensatz zu früheren MGT-Detektoren, die eine binäre Klassifizierung durchführen, bietet die Einführung von zwei zusätzlichen Kategorien in LLM-DetectAIve Einblicke in die unterschiedlichen Grade des LLM-Einsatzes während der Texterstellung. Dies könnte in einigen Bereichen nützlich sein, wie z.B. in der Bildung, wo jeglicher LLM-Einsatz normalerweise verboten ist. Experimente zeigen, dass LLM-DetectAIve die Autorenschaft von Textinhalten effektiv identifizieren kann und somit seine Nützlichkeit bei der Verbesserung der Integrität in Bildung, Wissenschaft und anderen Bereichen unterstreicht. LLM-DetectAIve ist öffentlich zugänglich unter https://huggingface.co/spaces/raj-tomar001/MGT-New. Das Video, das unser System beschreibt, ist unter https://youtu.be/E8eT_bE7k8c verfügbar.

English

The widespread accessibility of large language models (LLMs) to the general public has significantly amplified the dissemination of machine-generated texts (MGTs). Advancements in prompt manipulation have exacerbated the difficulty in discerning the origin of a text (human-authored vs machinegenerated). This raises concerns regarding the potential misuse of MGTs, particularly within educational and academic domains. In this paper, we present LLM-DetectAIve -- a system designed for fine-grained MGT detection. It is able to classify texts into four categories: human-written, machine-generated, machine-written machine-humanized, and human-written machine-polished. Contrary to previous MGT detectors that perform binary classification, introducing two additional categories in LLM-DetectiAIve offers insights into the varying degrees of LLM intervention during the text creation. This might be useful in some domains like education, where any LLM intervention is usually prohibited. Experiments show that LLM-DetectAIve can effectively identify the authorship of textual content, proving its usefulness in enhancing integrity in education, academia, and other domains. LLM-DetectAIve is publicly accessible at https://huggingface.co/spaces/raj-tomar001/MGT-New. The video describing our system is available at https://youtu.be/E8eT_bE7k8c.