Große Sprachmodell-Hacking: Quantifizierung der verborgenen Risiken bei der Verwendung von LLMs für Textannotation

Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation

September 10, 2025

papers.authors: Joachim Baumann, Paul Röttger, Aleksandra Urman, Albert Wendsjö, Flor Miriam Plaza-del-Arco, Johannes B. Gruber, Dirk Hovy

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) revolutionieren die sozialwissenschaftliche Forschung zunehmend, indem sie die Automatisierung arbeitsintensiver Aufgaben wie Datenannotation und Textanalyse ermöglichen. Allerdings variieren die Ausgaben von LLMs erheblich in Abhängigkeit von den Implementierungsentscheidungen der Forschenden (z. B. Modellauswahl, Prompting-Strategie oder Temperatur-Einstellungen). Solche Variationen können systematische Verzerrungen und zufällige Fehler einführen, die sich auf nachgelagerte Analysen auswirken und zu Fehlern vom Typ I, Typ II, Typ S oder Typ M führen können. Wir bezeichnen dies als LLM-Hacking. Wir quantifizieren das Risiko von LLM-Hacking, indem wir 37 Datenannotationsaufgaben aus 21 veröffentlichten sozialwissenschaftlichen Studien mit 18 verschiedenen Modellen replizieren. Durch die Analyse von 13 Millionen LLM-Labels testen wir 2.361 realistische Hypothesen, um zu messen, wie plausible Forscherentscheidungen statistische Schlussfolgerungen beeinflussen. Wir stellen fest, dass bei etwa jeder dritten Hypothese für state-of-the-art-Modelle und bei der Hälfte der Hypothesen für kleinere Sprachmodelle falsche Schlussfolgerungen auf der Grundlage von LLM-annotierten Daten gezogen werden. Obwohl unsere Ergebnisse zeigen, dass eine höhere Aufgabenleistung und bessere allgemeine Modellfähigkeiten das LLM-Hacking-Risiko verringern, eliminieren selbst hochgenaue Modelle dieses Risiko nicht vollständig. Das Risiko von LLM-Hacking nimmt mit zunehmenden Effektstärken ab, was die Notwendigkeit einer strengeren Überprüfung von Ergebnissen in der Nähe von Signifikanzschwellen unterstreicht. Unsere umfangreiche Analyse von Techniken zur Risikominderung von LLM-Hacking betont die Bedeutung menschlicher Annotationen bei der Reduzierung falsch positiver Befunde und der Verbesserung der Modellauswahl. Überraschenderweise sind gängige Korrekturtechniken für Regressionsschätzer weitgehend unwirksam bei der Reduzierung des LLM-Hacking-Risikos, da sie stark zwischen Fehlern vom Typ I und Typ II abwägen. Über unbeabsichtigte Fehler hinaus stellen wir fest, dass absichtliches LLM-Hacking unannehmbar einfach ist. Mit wenigen LLMs und nur einer Handvoll Prompt-Umschreibungen kann alles als statistisch signifikant dargestellt werden.

English

Large language models (LLMs) are rapidly transforming social science research by enabling the automation of labor-intensive tasks like data annotation and text analysis. However, LLM outputs vary significantly depending on the implementation choices made by researchers (e.g., model selection, prompting strategy, or temperature settings). Such variation can introduce systematic biases and random errors, which propagate to downstream analyses and cause Type I, Type II, Type S, or Type M errors. We call this LLM hacking. We quantify the risk of LLM hacking by replicating 37 data annotation tasks from 21 published social science research studies with 18 different models. Analyzing 13 million LLM labels, we test 2,361 realistic hypotheses to measure how plausible researcher choices affect statistical conclusions. We find incorrect conclusions based on LLM-annotated data in approximately one in three hypotheses for state-of-the-art models, and in half the hypotheses for small language models. While our findings show that higher task performance and better general model capabilities reduce LLM hacking risk, even highly accurate models do not completely eliminate it. The risk of LLM hacking decreases as effect sizes increase, indicating the need for more rigorous verification of findings near significance thresholds. Our extensive analysis of LLM hacking mitigation techniques emphasizes the importance of human annotations in reducing false positive findings and improving model selection. Surprisingly, common regression estimator correction techniques are largely ineffective in reducing LLM hacking risk, as they heavily trade off Type I vs. Type II errors. Beyond accidental errors, we find that intentional LLM hacking is unacceptably simple. With few LLMs and just a handful of prompt paraphrases, anything can be presented as statistically significant.