ExaGPT: 人間の解釈可能性のための事例ベース機械生成テキスト検出

ExaGPT: Example-Based Machine-Generated Text Detection for Human Interpretability

February 17, 2025

著者: Ryuto Koike, Masahiro Kaneko, Ayana Niwa, Preslav Nakov, Naoaki Okazaki

cs.AI

要旨

大規模言語モデル（LLM）によって生成されたテキストを検出することは、誤った判断による重大な過ちを引き起こす可能性があります。例えば、学生の学術的尊厳を損なうような決定がなされることも考えられます。そのため、LLMテキスト検出は、その予測がどれほど信頼できるかをユーザーが判断できるよう、決定の解釈可能性を確保する必要があります。人間がテキストが人間によって書かれたものか、LLMによって生成されたものかを検証する際、直感的にそのテキストがどちらにより類似した部分を持つかを調査します。しかし、既存の解釈可能な検出器は、人間の意思決定プロセスに沿っておらず、ユーザーが容易に理解できる証拠を提供できていません。このギャップを埋めるため、我々はExaGPTを提案します。これは、テキストの起源を検証するための人間の意思決定プロセスに基づいた解釈可能な検出アプローチです。ExaGPTは、テキストがデータストア内の人間が書いたテキストとLLMが生成したテキストのどちらにより類似した部分を持つかをチェックすることで、テキストを識別します。このアプローチは、テキスト内の各部分に対する決定に寄与する類似部分の例を証拠として提供できます。我々の人間による評価では、類似部分の例を提供することが、既存の解釈可能な方法よりも決定の正しさを判断するのに効果的であることが示されました。さらに、4つのドメインと3つの生成器を用いた広範な実験により、ExaGPTが1%の偽陽性率において、従来の強力な検出器を最大+40.9ポイントの精度で大幅に上回ることが明らかになりました。

English

Detecting texts generated by Large Language Models (LLMs) could cause grave mistakes due to incorrect decisions, such as undermining student's academic dignity. LLM text detection thus needs to ensure the interpretability of the decision, which can help users judge how reliably correct its prediction is. When humans verify whether a text is human-written or LLM-generated, they intuitively investigate with which of them it shares more similar spans. However, existing interpretable detectors are not aligned with the human decision-making process and fail to offer evidence that users easily understand. To bridge this gap, we introduce ExaGPT, an interpretable detection approach grounded in the human decision-making process for verifying the origin of a text. ExaGPT identifies a text by checking whether it shares more similar spans with human-written vs. with LLM-generated texts from a datastore. This approach can provide similar span examples that contribute to the decision for each span in the text as evidence. Our human evaluation demonstrates that providing similar span examples contributes more effectively to judging the correctness of the decision than existing interpretable methods. Moreover, extensive experiments in four domains and three generators show that ExaGPT massively outperforms prior powerful detectors by up to +40.9 points of accuracy at a false positive rate of 1%.