Robuste und feingranulare Erkennung von KI-generierten Texten

Robust and Fine-Grained Detection of AI Generated Texts

April 16, 2025

Autoren: Ram Mohan Rao Kadiyala, Siddartha Pullakhandam, Kanwal Mehreen, Drishti Sharma, Siddhant Gupta, Jebish Purbey, Ashay Srivastava, Subhasya TippaReddy, Arvind Reddy Bobbili, Suraj Telugara Chandrashekhar, Modabbir Adeeb, Srinadh Vura, Hamza Farooq

cs.AI

Zusammenfassung

Ein ideales Erkennungssystem für maschinell generierte Inhalte sollte mit jedem Generator gut funktionieren, da täglich immer fortschrittlichere LLMs entstehen. Bestehende Systeme haben oft Schwierigkeiten, KI-generierte Inhalte in kürzeren Texten genau zu identifizieren. Darüber hinaus werden nicht alle Texte vollständig von einem Menschen oder einem LLM verfasst, weshalb wir uns stärker auf partielle Fälle konzentriert haben, d. h. auf von Mensch und LLM gemeinsam verfasste Texte. Unser Artikel stellt eine Reihe von Modellen vor, die für die Aufgabe der Token-Klassifizierung entwickelt wurden und auf einer umfangreichen Sammlung von Mensch-Maschine-gemeinsam verfassten Texten trainiert wurden. Diese Modelle zeigten gute Leistungen bei Texten aus unbekannten Domänen, von unbekannten Generatoren, Texten von Nicht-Muttersprachlern und solchen mit adversarischen Eingaben. Wir stellen außerdem einen neuen Datensatz mit über 2,4 Millionen solcher Texte vor, die größtenteils von mehreren bekannten proprietären LLMs in 23 Sprachen gemeinsam verfasst wurden. Wir präsentieren auch die Ergebnisse der Leistung unserer Modelle für jeden Text jeder Domäne und jedes Generators. Zusätzliche Erkenntnisse umfassen den Vergleich der Leistung gegen jede adversarische Methode, die Länge der Eingabetexte und die Eigenschaften der generierten Texte im Vergleich zu den ursprünglich von Menschen verfassten Texten.

English

An ideal detection system for machine generated content is supposed to work well on any generator as many more advanced LLMs come into existence day by day. Existing systems often struggle with accurately identifying AI-generated content over shorter texts. Further, not all texts might be entirely authored by a human or LLM, hence we focused more over partial cases i.e human-LLM co-authored texts. Our paper introduces a set of models built for the task of token classification which are trained on an extensive collection of human-machine co-authored texts, which performed well over texts of unseen domains, unseen generators, texts by non-native speakers and those with adversarial inputs. We also introduce a new dataset of over 2.4M such texts mostly co-authored by several popular proprietary LLMs over 23 languages. We also present findings of our models' performance over each texts of each domain and generator. Additional findings include comparison of performance against each adversarial method, length of input texts and characteristics of generated texts compared to the original human authored texts.