Detección robusta y de grano fino de textos generados por IA

Robust and Fine-Grained Detection of AI Generated Texts

April 16, 2025

Autores: Ram Mohan Rao Kadiyala, Siddartha Pullakhandam, Kanwal Mehreen, Drishti Sharma, Siddhant Gupta, Jebish Purbey, Ashay Srivastava, Subhasya TippaReddy, Arvind Reddy Bobbili, Suraj Telugara Chandrashekhar, Modabbir Adeeb, Srinadh Vura, Hamza Farooq

cs.AI

Resumen

Un sistema de detección ideal para contenido generado por máquinas debería funcionar bien con cualquier generador, ya que modelos de lenguaje avanzados (LLMs) cada vez más sofisticados surgen día a día. Los sistemas existentes a menudo tienen dificultades para identificar con precisión el contenido generado por IA en textos más cortos. Además, no todos los textos pueden estar completamente escritos por un humano o un LLM, por lo que nos enfocamos más en casos parciales, es decir, textos coescritos por humanos y LLMs. Nuestro artículo presenta un conjunto de modelos diseñados para la tarea de clasificación de tokens, entrenados en una extensa colección de textos coescritos por humanos y máquinas, que demostraron un buen rendimiento en textos de dominios no vistos, generadores no vistos, textos de hablantes no nativos y aquellos con entradas adversarias. También introducimos un nuevo conjunto de datos de más de 2.4 millones de textos, principalmente coescritos por varios LLMs propietarios populares en 23 idiomas. Además, presentamos los resultados del rendimiento de nuestros modelos en los textos de cada dominio y generador. Entre los hallazgos adicionales se incluyen la comparación del rendimiento frente a cada método adversario, la longitud de los textos de entrada y las características de los textos generados en comparación con los textos originales escritos por humanos.

English

An ideal detection system for machine generated content is supposed to work well on any generator as many more advanced LLMs come into existence day by day. Existing systems often struggle with accurately identifying AI-generated content over shorter texts. Further, not all texts might be entirely authored by a human or LLM, hence we focused more over partial cases i.e human-LLM co-authored texts. Our paper introduces a set of models built for the task of token classification which are trained on an extensive collection of human-machine co-authored texts, which performed well over texts of unseen domains, unseen generators, texts by non-native speakers and those with adversarial inputs. We also introduce a new dataset of over 2.4M such texts mostly co-authored by several popular proprietary LLMs over 23 languages. We also present findings of our models' performance over each texts of each domain and generator. Additional findings include comparison of performance against each adversarial method, length of input texts and characteristics of generated texts compared to the original human authored texts.