Zeigen, nicht ERZÄHLEN: Erklärbare Erkennung von KI-generierten Texten

Zusammenfassung

Die Forschung zur Erkennung KI-generierter Texte hat eine Reihe von Ansätzen hervorgebracht, um menschliche von KI-Prosa zu unterscheiden, wobei einige davon eine hohe In-Distribution-Leistung erzielen. Die praktische Anwendbarkeit blieb jedoch aus, da die Ergebnisse nicht mit den Bedürfnissen der Nutzer – etwa von Dozierenden – übereinstimmen, denen ein numerischer Wert ohne zugehörige Erklärung präsentiert wird. Wir adressieren dieses Problem mit einer neuartigen Architektur namens TELL, die Erklärbarkeit von Grund auf integriert. Während unser System wie andere Detektoren zur Vergleichbarkeit weiterhin einen numerischen Wert liefert, verfolgt TELL einen grundlegend anderen Ansatz: Wir zielen darauf ab, dem Nutzer die „Verräter“ (tells) zu zeigen, anhand derer das Modell einen Text als KI- oder menschengeschrieben einstuft. Dies befähigt den Nutzer, mithilfe eigener Urteilskraft und unter Berücksichtigung des Kontexts des Textes und seines mutmaßlichen Autors selbst zu entscheiden, wer den Text verfasst hat. Wir trainieren TELL auf einem maßgeschneiderten SFT-Datensatz mit domänenspezifischen Autorschaftsannotationen und verfeinern das System zusätzlich mittels GRPO mit Curriculum Learning, um die Leistung zu verbessern. Wir erreichen eine konkurrenzfähige Leistung im Vergleich zu modernen Detektoren (AUROC 0,927), während wir nativ Annotationen bereitstellen, die die Grundlage der Detektorentscheidung erläutern. Darüber hinaus evaluieren wir die Qualität unserer Erklärungen anhand eines Datensatzes menschlicher Annotationen und berichten eine hohe Gewinnrate (im Mittel 72,3 %) hinsichtlich Konkretheit, Falsifizierbarkeit, Kohärenz, Plausibilität und Fundiertheit der Annotationen, sodass Nutzer kritisch denken und eigenständig entscheiden können. Unsere Arbeit formuliert somit das Problem der Erkennung KI-generierter Texte aus einer menschenzentrierten Perspektive neu und ebnet den Weg für eine neue Familie von Detektoren, die auf native Erklärbarkeit setzen.

English

Research on AI-generated text detection has presented a number of approaches to discern human from AI prose, some of which achieving high in-distribution performance. However, real-world applicability has stalled because their outputs are misaligned with the needs of users, such as professors, who are presented with a numeric score that has no attached explanation. We tackle this issue with a novel architecture, TELL, that bakes explainability from the ground-up. While our system still offers a numerical score like other detectors for comparability, TELL takes a fundamentally different approach where we aim to show the user the "tells" by which the model believes a text is AI or human-written, to empower the user to decide who wrote a text using their own judgment and understanding of the context of the writing and its alleged author. We train TELL on a custom SFT dataset of domain-specific authorship annotations, and further refine the system using GRPO with curriculum learning to improve performance. We achieve competitive performance with state-of-the-art detectors (AUROC 0.927) while natively providing annotations that explain the basis for the detector's decision. We further evaluate the quality of our explanations using a dataset of human annotations and report a high (mean 72.3%) win-rate on annotation concreteness, falsifiability, coherence, plausibility and grounding, allowing users to critically think and decide for themselves. Our work thus reframes the problem of AI-generated text detection in a human-centric perspective and paves the way for a new family of detectors that focus on native explainability.