Muestra, No Digas: Detección Explicable de Texto Generado por IA

Resumen

La investigación sobre la detección de texto generado por IA ha presentado varios enfoques para distinguir el texto humano del generado por IA, algunos de los cuales alcanzan un alto rendimiento dentro de la distribución. Sin embargo, su aplicabilidad en el mundo real se ha estancado porque sus resultados no están alineados con las necesidades de los usuarios, como los profesores, a quienes se les presenta una puntuación numérica sin explicación adjunta. Abordamos este problema con una arquitectura novedosa, TELL, que incorpora la explicabilidad desde su diseño fundamental. Si bien nuestro sistema aún ofrece una puntuación numérica como otros detectores para garantizar la comparabilidad, TELL adopta un enfoque fundamentalmente diferente: buscamos mostrar al usuario las "pistas" mediante las cuales el modelo considera que un texto está escrito por IA o por un humano, para capacitar al usuario a decidir quién escribió un texto utilizando su propio criterio y comprensión del contexto de la escritura y su presunto autor. Entrenamos TELL en un conjunto de datos personalizado de SFT con anotaciones de autoría específicas del dominio, y refinamos aún más el sistema utilizando GRPO con aprendizaje curricular para mejorar el rendimiento. Logramos un rendimiento competitivo con los detectores de última generación (AUROC 0.927), a la vez que proporcionamos de forma nativa anotaciones que explican la base de la decisión del detector. Además, evaluamos la calidad de nuestras explicaciones utilizando un conjunto de datos de anotaciones humanas y reportamos una alta tasa de victorias (media del 72.3 %) en concreción, falseabilidad, coherencia, plausibilidad y fundamentación de las anotaciones, lo que permite a los usuarios pensar críticamente y decidir por sí mismos. Por lo tanto, nuestro trabajo reformula el problema de la detección de texto generado por IA desde una perspectiva centrada en el ser humano y allana el camino para una nueva familia de detectores que se centran en la explicabilidad nativa.

English

Research on AI-generated text detection has presented a number of approaches to discern human from AI prose, some of which achieving high in-distribution performance. However, real-world applicability has stalled because their outputs are misaligned with the needs of users, such as professors, who are presented with a numeric score that has no attached explanation. We tackle this issue with a novel architecture, TELL, that bakes explainability from the ground-up. While our system still offers a numerical score like other detectors for comparability, TELL takes a fundamentally different approach where we aim to show the user the "tells" by which the model believes a text is AI or human-written, to empower the user to decide who wrote a text using their own judgment and understanding of the context of the writing and its alleged author. We train TELL on a custom SFT dataset of domain-specific authorship annotations, and further refine the system using GRPO with curriculum learning to improve performance. We achieve competitive performance with state-of-the-art detectors (AUROC 0.927) while natively providing annotations that explain the basis for the detector's decision. We further evaluate the quality of our explanations using a dataset of human annotations and report a high (mean 72.3%) win-rate on annotation concreteness, falsifiability, coherence, plausibility and grounding, allowing users to critically think and decide for themselves. Our work thus reframes the problem of AI-generated text detection in a human-centric perspective and paves the way for a new family of detectors that focus on native explainability.