ChatGPTを頻繁に使用する人々は、AIによって生成されたテキストを正確かつ堅牢に検出する能力があります。

People who frequently use ChatGPT for writing tasks are accurate and robust detectors of AI-generated text

January 26, 2025

著者: Jenna Russell, Marzena Karpinska, Mohit Iyyer

cs.AI

要旨

本論文では、商用LLM（GPT-4o、Claude、o1）によって生成されたテキストを人間がどれだけ正確に検出できるかを調査します。300のノンフィクションの英語記事を読んでもらい、それが人間によって書かれたものかAIによって生成されたものかをラベル付けし、段落の長さの説明を提供してもらいます。実験の結果、LLMを頻繁に使用して執筆タスクを行う注釈者は、専門的なトレーニングやフィードバックがなくてもAIによって生成されたテキストを検出するのに優れていることが示されました。実際、5人の「専門家」注釈者の多数決では300の記事のうちたった1つを誤分類するのみであり、多くの商用およびオープンソースの検出器を凌駕しており、言い換えや人間らしさなどの回避策が存在する状況でも優れた性能を発揮しています。専門家の自由形式の説明の質的分析によると、彼らは特定の語彙的手がかり（「AI語彙」）に大きく依存している一方で、自動検出器にとって評価が難しいより複雑な現象（たとえば、形式、独創性、明瞭さ）にも気付いています。私たちは、AIによって生成されたテキストの人間および自動検出の両方に対する将来の研究を促進するために、アノテーション付きのデータセットとコードを公開します。

English

In this paper, we study how well humans can detect text generated by commercial LLMs (GPT-4o, Claude, o1). We hire annotators to read 300 non-fiction English articles, label them as either human-written or AI-generated, and provide paragraph-length explanations for their decisions. Our experiments show that annotators who frequently use LLMs for writing tasks excel at detecting AI-generated text, even without any specialized training or feedback. In fact, the majority vote among five such "expert" annotators misclassifies only 1 of 300 articles, significantly outperforming most commercial and open-source detectors we evaluated even in the presence of evasion tactics like paraphrasing and humanization. Qualitative analysis of the experts' free-form explanations shows that while they rely heavily on specific lexical clues ('AI vocabulary'), they also pick up on more complex phenomena within the text (e.g., formality, originality, clarity) that are challenging to assess for automatic detectors. We release our annotated dataset and code to spur future research into both human and automated detection of AI-generated text.