大規模言語モデルのハッキング：テキストアノテーションにおけるLLM利用の潜在リスクの定量化

要旨

大規模言語モデル（LLM）は、データアノテーションやテキスト分析などの労力を要するタスクを自動化することで、社会科学研究を急速に変革しています。しかし、LLMの出力は、研究者が行う実装上の選択（例えば、モデル選択、プロンプト戦略、温度設定など）によって大きく異なります。このようなばらつきは、系統的なバイアスやランダムな誤差を引き起こし、下流の分析に伝播して、タイプI、タイプII、タイプS、またはタイプMのエラーを引き起こす可能性があります。我々はこれをLLMハッキングと呼びます。我々は、21の公表された社会科学研究から37のデータアノテーションタスクを再現し、18の異なるモデルを用いてLLMハッキングのリスクを定量化しました。1,300万のLLMラベルを分析し、2,361の現実的な仮説をテストして、研究者の選択が統計的結論にどのように影響するかを測定しました。その結果、最先端のモデルでは約3分の1の仮説で、小規模な言語モデルでは半分の仮説で、LLMアノテーションデータに基づく誤った結論が見つかりました。我々の調査結果は、タスクのパフォーマンスが高く、モデルの汎用能力が優れているほどLLMハッキングのリスクが低くなることを示していますが、非常に正確なモデルでもリスクを完全に排除することはできません。LLMハッキングのリスクは効果量が大きくなるにつれて減少するため、有意性閾値付近の所見のより厳密な検証が必要です。LLMハッキングの緩和技術に関する我々の広範な分析は、偽陽性の所見を減らし、モデル選択を改善する上で人間のアノテーションの重要性を強調しています。驚くべきことに、一般的な回帰推定器の補正技術は、タイプIとタイプIIのエラーのトレードオフが大きいため、LLMハッキングのリスクを軽減する上でほとんど効果がありません。偶発的なエラーに加えて、意図的なLLMハッキングが容認できないほど簡単であることもわかりました。少数のLLMとわずかなプロンプトの言い換えだけで、何でも統計的に有意であるかのように提示することが可能です。

English

Large language models (LLMs) are rapidly transforming social science research by enabling the automation of labor-intensive tasks like data annotation and text analysis. However, LLM outputs vary significantly depending on the implementation choices made by researchers (e.g., model selection, prompting strategy, or temperature settings). Such variation can introduce systematic biases and random errors, which propagate to downstream analyses and cause Type I, Type II, Type S, or Type M errors. We call this LLM hacking. We quantify the risk of LLM hacking by replicating 37 data annotation tasks from 21 published social science research studies with 18 different models. Analyzing 13 million LLM labels, we test 2,361 realistic hypotheses to measure how plausible researcher choices affect statistical conclusions. We find incorrect conclusions based on LLM-annotated data in approximately one in three hypotheses for state-of-the-art models, and in half the hypotheses for small language models. While our findings show that higher task performance and better general model capabilities reduce LLM hacking risk, even highly accurate models do not completely eliminate it. The risk of LLM hacking decreases as effect sizes increase, indicating the need for more rigorous verification of findings near significance thresholds. Our extensive analysis of LLM hacking mitigation techniques emphasizes the importance of human annotations in reducing false positive findings and improving model selection. Surprisingly, common regression estimator correction techniques are largely ineffective in reducing LLM hacking risk, as they heavily trade off Type I vs. Type II errors. Beyond accidental errors, we find that intentional LLM hacking is unacceptably simple. With few LLMs and just a handful of prompt paraphrases, anything can be presented as statistically significant.

大規模言語モデルのハッキング：テキストアノテーションにおけるLLM利用の潜在リスクの定量化

Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation

要旨

Support