Люди, часто использующие ChatGPT для письменных задач, являются точными и надежными детекторами текстов, созданных искусственным интеллектом.

People who frequently use ChatGPT for writing tasks are accurate and robust detectors of AI-generated text

January 26, 2025

Авторы: Jenna Russell, Marzena Karpinska, Mohit Iyyer

cs.AI

Аннотация

В данной статье мы изучаем, насколько хорошо люди могут обнаруживать текст, сгенерированный коммерческими языковыми моделями (GPT-4o, Claude, o1). Мы нанимаем аннотаторов для чтения 300 научно-популярных англоязычных статей, помечаем их как написанные человеком или созданные ИИ, и предоставляем объяснения длиной в абзац к своим решениям. Наши эксперименты показывают, что аннотаторы, часто использующие языковые модели для задач написания, отлично справляются с обнаружением текста, созданного ИИ, даже без специальной подготовки или обратной связи. Фактически, большинство голосов среди пятерых таких "экспертов" аннотаторов ошибается всего в 1 из 300 статей, значительно превосходя большинство коммерческих и открытых детекторов, которые мы оценили, даже в условиях тактик уклонения, таких как перефразирование и гуманизация. Качественный анализ свободных объяснений экспертов показывает, что хотя они сильно полагаются на специфические лексические признаки ('словарь ИИ'), они также замечают более сложные явления в тексте (например, формальность, оригинальность, ясность), которые вызывают трудности для автоматических детекторов. Мы публикуем наш набор данных с аннотациями и кодом для стимулирования будущих исследований как в области человеческого, так и автоматического обнаружения текстов, созданных ИИ.

English

In this paper, we study how well humans can detect text generated by commercial LLMs (GPT-4o, Claude, o1). We hire annotators to read 300 non-fiction English articles, label them as either human-written or AI-generated, and provide paragraph-length explanations for their decisions. Our experiments show that annotators who frequently use LLMs for writing tasks excel at detecting AI-generated text, even without any specialized training or feedback. In fact, the majority vote among five such "expert" annotators misclassifies only 1 of 300 articles, significantly outperforming most commercial and open-source detectors we evaluated even in the presence of evasion tactics like paraphrasing and humanization. Qualitative analysis of the experts' free-form explanations shows that while they rely heavily on specific lexical clues ('AI vocabulary'), they also pick up on more complex phenomena within the text (e.g., formality, originality, clarity) that are challenging to assess for automatic detectors. We release our annotated dataset and code to spur future research into both human and automated detection of AI-generated text.