Robuuste en fijnmazige detectie van AI-gegenereerde teksten

Robust and Fine-Grained Detection of AI Generated Texts

April 16, 2025

Auteurs: Ram Mohan Rao Kadiyala, Siddartha Pullakhandam, Kanwal Mehreen, Drishti Sharma, Siddhant Gupta, Jebish Purbey, Ashay Srivastava, Subhasya TippaReddy, Arvind Reddy Bobbili, Suraj Telugara Chandrashekhar, Modabbir Adeeb, Srinadh Vura, Hamza Farooq

cs.AI

Samenvatting

Een ideaal detectiesysteem voor machinaal gegenereerde inhoud zou goed moeten werken op elke generator, aangezien er dagelijks steeds geavanceerdere LLM's (Large Language Models) worden ontwikkeld. Bestaande systemen hebben vaak moeite met het nauwkeurig identificeren van AI-gegenereerde inhoud bij kortere teksten. Bovendien zijn niet alle teksten volledig geschreven door een mens of een LLM, daarom hebben we ons meer gericht op gedeeltelijke gevallen, d.w.z. teksten die door mens en LLM samen zijn geschreven. Ons artikel introduceert een reeks modellen die zijn gebouwd voor de taak van tokenclassificatie en die zijn getraind op een uitgebreide verzameling van mens-machine samen geschreven teksten. Deze modellen presteerden goed op teksten uit onbekende domeinen, van onbekende generatoren, teksten van niet-moedertaalsprekers en teksten met adversariële invoer. We introduceren ook een nieuwe dataset van meer dan 2,4 miljoen van dergelijke teksten, voornamelijk samen geschreven door verschillende populaire propriëtaire LLM's in 23 talen. We presenteren ook de bevindingen van de prestaties van onze modellen op teksten uit elk domein en van elke generator. Aanvullende bevindingen omvatten een vergelijking van de prestaties tegenover elke adversariële methode, de lengte van de invoerteksten en de kenmerken van gegenereerde teksten in vergelijking met de originele door mensen geschreven teksten.

English

An ideal detection system for machine generated content is supposed to work well on any generator as many more advanced LLMs come into existence day by day. Existing systems often struggle with accurately identifying AI-generated content over shorter texts. Further, not all texts might be entirely authored by a human or LLM, hence we focused more over partial cases i.e human-LLM co-authored texts. Our paper introduces a set of models built for the task of token classification which are trained on an extensive collection of human-machine co-authored texts, which performed well over texts of unseen domains, unseen generators, texts by non-native speakers and those with adversarial inputs. We also introduce a new dataset of over 2.4M such texts mostly co-authored by several popular proprietary LLMs over 23 languages. We also present findings of our models' performance over each texts of each domain and generator. Additional findings include comparison of performance against each adversarial method, length of input texts and characteristics of generated texts compared to the original human authored texts.