Grootschalige Taalmodel Hacking: Het Kwantificeren van de Verborgen Risico's van het Gebruik van LLM's voor Tekstannotatie

Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation

September 10, 2025

Auteurs: Joachim Baumann, Paul Röttger, Aleksandra Urman, Albert Wendsjö, Flor Miriam Plaza-del-Arco, Johannes B. Gruber, Dirk Hovy

cs.AI

Samenvatting

Grote taalmodellen (LLM's) transformeren sociaalwetenschappelijk onderzoek in rap tempo door het automatiseren van arbeidsintensieve taken zoals data-annotatie en tekstanalyse. De uitvoer van LLM's varieert echter aanzienlijk afhankelijk van de implementatiekeuzes die onderzoekers maken (bijvoorbeeld modelselectie, promptstrategie of temperatuurinstellingen). Deze variatie kan systematische biases en willekeurige fouten introduceren, die doorwerken in downstream analyses en leiden tot Type I-, Type II-, Type S- of Type M-fouten. Wij noemen dit LLM-hacking. Wij kwantificeren het risico van LLM-hacking door 37 data-annotatietaken uit 21 gepubliceerde sociaalwetenschappelijke onderzoeken te repliceren met 18 verschillende modellen. Door 13 miljoen LLM-labels te analyseren, testen we 2.361 realistische hypotheses om te meten hoe plausibele keuzes van onderzoekers statistische conclusies beïnvloeden. We ontdekken incorrecte conclusies op basis van LLM-geannoteerde data in ongeveer één op de drie hypotheses voor state-of-the-art modellen, en in de helft van de hypotheses voor kleine taalmodellen. Hoewel onze bevindingen aantonen dat hogere taakprestaties en betere algemene modelcapaciteiten het risico op LLM-hacking verminderen, elimineren zelfs zeer nauwkeurige modellen het niet volledig. Het risico van LLM-hacking neemt af naarmate de effectgroottes toenemen, wat de noodzaak benadrukt van strengere verificatie van bevindingen nabij significantiedrempels. Onze uitgebreide analyse van technieken om LLM-hacking te mitigeren onderstreept het belang van menselijke annotaties bij het verminderen van fout-positieve bevindingen en het verbeteren van modelselectie. Verrassend genoeg zijn veelgebruikte correctietechnieken voor regressieschatters grotendeels ineffectief in het verminderen van het risico op LLM-hacking, omdat ze sterk afwegen tussen Type I- en Type II-fouten. Naast onbedoelde fouten ontdekken we dat opzettelijke LLM-hacking onaanvaardbaar eenvoudig is. Met slechts enkele LLM's en een handvol promptparafraseringen kan alles als statistisch significant worden gepresenteerd.

English

Large language models (LLMs) are rapidly transforming social science research by enabling the automation of labor-intensive tasks like data annotation and text analysis. However, LLM outputs vary significantly depending on the implementation choices made by researchers (e.g., model selection, prompting strategy, or temperature settings). Such variation can introduce systematic biases and random errors, which propagate to downstream analyses and cause Type I, Type II, Type S, or Type M errors. We call this LLM hacking. We quantify the risk of LLM hacking by replicating 37 data annotation tasks from 21 published social science research studies with 18 different models. Analyzing 13 million LLM labels, we test 2,361 realistic hypotheses to measure how plausible researcher choices affect statistical conclusions. We find incorrect conclusions based on LLM-annotated data in approximately one in three hypotheses for state-of-the-art models, and in half the hypotheses for small language models. While our findings show that higher task performance and better general model capabilities reduce LLM hacking risk, even highly accurate models do not completely eliminate it. The risk of LLM hacking decreases as effect sizes increase, indicating the need for more rigorous verification of findings near significance thresholds. Our extensive analysis of LLM hacking mitigation techniques emphasizes the importance of human annotations in reducing false positive findings and improving model selection. Surprisingly, common regression estimator correction techniques are largely ineffective in reducing LLM hacking risk, as they heavily trade off Type I vs. Type II errors. Beyond accidental errors, we find that intentional LLM hacking is unacceptably simple. With few LLMs and just a handful of prompt paraphrases, anything can be presented as statistically significant.