Le persone che utilizzano frequentemente ChatGPT per compiti di scrittura sono rilevatori precisi e affidabili di testi generati da AI.

People who frequently use ChatGPT for writing tasks are accurate and robust detectors of AI-generated text

January 26, 2025

Autori: Jenna Russell, Marzena Karpinska, Mohit Iyyer

cs.AI

Abstract

In questo articolo, studiamo quanto bene gli esseri umani possano rilevare il testo generato da LLM commerciali (GPT-4o, Claude, o1). Assumiamo annotatori per leggere 300 articoli in lingua inglese di non-fiction, etichettarli come scritti da umani o generati da AI, e fornire spiegazioni di lunghezza paragrafica per le loro decisioni. I nostri esperimenti mostrano che gli annotatori che utilizzano frequentemente LLM per compiti di scrittura eccellono nel rilevare il testo generato da AI, anche senza alcuna formazione specializzata o feedback. Infatti, il voto della maggioranza tra cinque di tali annotatori "esperti" classifica erroneamente solo 1 degli 300 articoli, superando significativamente la maggior parte dei rilevatori commerciali e open-source che abbiamo valutato, anche in presenza di tattiche di evasione come il parafrasare e l'umanizzazione. L'analisi qualitativa delle spiegazioni in forma libera degli esperti mostra che, sebbene si basino pesantemente su indizi lessicali specifici ('vocabolario AI'), colgono anche fenomeni più complessi all'interno del testo (ad esempio, formalità, originalità, chiarezza) che sono sfidanti da valutare per i rilevatori automatici. Rilasciamo il nostro dataset annotato e il codice per incoraggiare la ricerca futura sia sulla rilevazione umana che automatica del testo generato da AI.

English

In this paper, we study how well humans can detect text generated by commercial LLMs (GPT-4o, Claude, o1). We hire annotators to read 300 non-fiction English articles, label them as either human-written or AI-generated, and provide paragraph-length explanations for their decisions. Our experiments show that annotators who frequently use LLMs for writing tasks excel at detecting AI-generated text, even without any specialized training or feedback. In fact, the majority vote among five such "expert" annotators misclassifies only 1 of 300 articles, significantly outperforming most commercial and open-source detectors we evaluated even in the presence of evasion tactics like paraphrasing and humanization. Qualitative analysis of the experts' free-form explanations shows that while they rely heavily on specific lexical clues ('AI vocabulary'), they also pick up on more complex phenomena within the text (e.g., formality, originality, clarity) that are challenging to assess for automatic detectors. We release our annotated dataset and code to spur future research into both human and automated detection of AI-generated text.