Las personas que utilizan con frecuencia ChatGPT para tareas de escritura son detectores precisos y robustos de texto generado por IA.

People who frequently use ChatGPT for writing tasks are accurate and robust detectors of AI-generated text

January 26, 2025

Autores: Jenna Russell, Marzena Karpinska, Mohit Iyyer

cs.AI

Resumen

En este documento, estudiamos cuán bien pueden los humanos detectar texto generado por LLMs comerciales (GPT-4o, Claude, o1). Contratamos anotadores para leer 300 artículos en inglés de no ficción, etiquetarlos como escritos por humanos o generados por IA, y proporcionar explicaciones de longitud de párrafo para sus decisiones. Nuestros experimentos muestran que los anotadores que utilizan frecuentemente LLMs para tareas de escritura destacan en la detección de texto generado por IA, incluso sin ningún entrenamiento especializado o retroalimentación. De hecho, la votación mayoritaria entre cinco de estos anotadores "expertos" clasifica erróneamente solo 1 de 300 artículos, superando significativamente a la mayoría de los detectores comerciales y de código abierto que evaluamos, incluso en presencia de tácticas de evasión como parafraseo y humanización. El análisis cualitativo de las explicaciones en forma libre de los expertos muestra que, si bien dependen en gran medida de pistas léxicas específicas ('vocabulario de IA'), también identifican fenómenos más complejos dentro del texto (por ejemplo, formalidad, originalidad, claridad) que son desafiantes de evaluar para los detectores automáticos. Publicamos nuestro conjunto de datos anotado y código para fomentar futuras investigaciones tanto en la detección humana como automatizada de texto generado por IA.

English

In this paper, we study how well humans can detect text generated by commercial LLMs (GPT-4o, Claude, o1). We hire annotators to read 300 non-fiction English articles, label them as either human-written or AI-generated, and provide paragraph-length explanations for their decisions. Our experiments show that annotators who frequently use LLMs for writing tasks excel at detecting AI-generated text, even without any specialized training or feedback. In fact, the majority vote among five such "expert" annotators misclassifies only 1 of 300 articles, significantly outperforming most commercial and open-source detectors we evaluated even in the presence of evasion tactics like paraphrasing and humanization. Qualitative analysis of the experts' free-form explanations shows that while they rely heavily on specific lexical clues ('AI vocabulary'), they also pick up on more complex phenomena within the text (e.g., formality, originality, clarity) that are challenging to assess for automatic detectors. We release our annotated dataset and code to spur future research into both human and automated detection of AI-generated text.