Toon, Niet Vertel: Verklaarbare AI-Gegenereerde Tekstdetectie

Samenvatting

Onderzoek naar detectie van AI-gegenereerde tekst heeft een aantal benaderingen opgeleverd om menselijk van AI-proza te onderscheiden, waarvan sommige hoge prestaties binnen de distributie behalen. De toepasbaarheid in de praktijk stagneert echter omdat de outputs niet zijn afgestemd op de behoeften van gebruikers, zoals docenten, die een numerieke score krijgen zonder bijgevoegde uitleg. Wij pakken dit probleem aan met een nieuwe architectuur, TELL, die uitlegbaarheid vanaf de basis integreert. Hoewel ons systeem, net als andere detectoren, nog steeds een numerieke score biedt voor vergelijkbaarheid, hanteert TELL een fundamenteel andere benadering waarbij we de gebruiker de 'tells' willen tonen op basis waarvan het model denkt dat een tekst door AI of een mens is geschreven, om de gebruiker in staat te stellen zelf te beslissen wie een tekst heeft geschreven, gebruikmakend van hun eigen oordeel en begrip van de context van het schrijfwerk en de vermeende auteur. We trainen TELL op een custom SFT-dataset van domeinspecifieke auteurschapsannotaties en verfijnen het systeem verder met GRPO en curriculumleren om de prestaties te verbeteren. We behalen concurrerende prestaties met state-of-the-art detectoren (AUROC 0,927) terwijl we native annotaties bieden die de basis van de detectorbeslissing uitleggen. We evalueren verder de kwaliteit van onze uitleg met behulp van een dataset van menselijke annotaties en rapporteren een hoog (gemiddeld 72,3%) winstpercentage op annotatieconcreetheid, falsifieerbaarheid, coherentie, plausibiliteit en onderbouwing, waardoor gebruikers kritisch kunnen nadenken en zelf beslissen. Ons werk herkadert daarmee het probleem van detectie van AI-gegenereerde tekst vanuit een mensgericht perspectief en baant de weg voor een nieuwe familie van detectoren die zich richten op native uitlegbaarheid.

English

Research on AI-generated text detection has presented a number of approaches to discern human from AI prose, some of which achieving high in-distribution performance. However, real-world applicability has stalled because their outputs are misaligned with the needs of users, such as professors, who are presented with a numeric score that has no attached explanation. We tackle this issue with a novel architecture, TELL, that bakes explainability from the ground-up. While our system still offers a numerical score like other detectors for comparability, TELL takes a fundamentally different approach where we aim to show the user the "tells" by which the model believes a text is AI or human-written, to empower the user to decide who wrote a text using their own judgment and understanding of the context of the writing and its alleged author. We train TELL on a custom SFT dataset of domain-specific authorship annotations, and further refine the system using GRPO with curriculum learning to improve performance. We achieve competitive performance with state-of-the-art detectors (AUROC 0.927) while natively providing annotations that explain the basis for the detector's decision. We further evaluate the quality of our explanations using a dataset of human annotations and report a high (mean 72.3%) win-rate on annotation concreteness, falsifiability, coherence, plausibility and grounding, allowing users to critically think and decide for themselves. Our work thus reframes the problem of AI-generated text detection in a human-centric perspective and paves the way for a new family of detectors that focus on native explainability.