Piratage des grands modèles de langage : Quantifier les risques cachés de l'utilisation des LLM pour l'annotation de texte

Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation

September 10, 2025

papers.authors: Joachim Baumann, Paul Röttger, Aleksandra Urman, Albert Wendsjö, Flor Miriam Plaza-del-Arco, Johannes B. Gruber, Dirk Hovy

cs.AI

papers.abstract

Les grands modèles de langage (LLM) transforment rapidement la recherche en sciences sociales en automatisant des tâches laborieuses comme l'annotation de données et l'analyse de texte. Cependant, les sorties des LLM varient considérablement selon les choix d'implémentation des chercheurs (par exemple, la sélection du modèle, la stratégie de prompt ou les paramètres de température). Ces variations peuvent introduire des biais systématiques et des erreurs aléatoires, qui se propagent aux analyses ultérieures et entraînent des erreurs de type I, de type II, de type S ou de type M. Nous appelons cela le "LLM hacking". Nous quantifions le risque de LLM hacking en reproduisant 37 tâches d'annotation de données issues de 21 études de recherche en sciences sociales publiées, en utilisant 18 modèles différents. En analysant 13 millions d'étiquettes générées par des LLM, nous testons 2 361 hypothèses réalistes pour mesurer comment les choix plausibles des chercheurs affectent les conclusions statistiques. Nous constatons des conclusions incorrectes basées sur des données annotées par des LLM dans environ une hypothèse sur trois pour les modèles de pointe, et dans la moitié des hypothèses pour les petits modèles de langage. Bien que nos résultats montrent que de meilleures performances sur la tâche et des capacités générales plus élevées des modèles réduisent le risque de LLM hacking, même les modèles très précis ne l'éliminent pas complètement. Le risque de LLM hacking diminue à mesure que les tailles d'effet augmentent, ce qui souligne la nécessité d'une vérification plus rigoureuse des résultats proches des seuils de significativité. Notre analyse approfondie des techniques d'atténuation du LLM hacking met en évidence l'importance des annotations humaines pour réduire les faux positifs et améliorer la sélection des modèles. Étonnamment, les techniques courantes de correction des estimateurs de régression sont largement inefficaces pour réduire le risque de LLM hacking, car elles compromettent fortement les erreurs de type I et de type II. Au-delà des erreurs accidentelles, nous constatons que le LLM hacking intentionnel est inacceptablement simple. Avec quelques LLM et seulement une poignée de paraphrases de prompts, n'importe quoi peut être présenté comme statistiquement significatif.

English

Large language models (LLMs) are rapidly transforming social science research by enabling the automation of labor-intensive tasks like data annotation and text analysis. However, LLM outputs vary significantly depending on the implementation choices made by researchers (e.g., model selection, prompting strategy, or temperature settings). Such variation can introduce systematic biases and random errors, which propagate to downstream analyses and cause Type I, Type II, Type S, or Type M errors. We call this LLM hacking. We quantify the risk of LLM hacking by replicating 37 data annotation tasks from 21 published social science research studies with 18 different models. Analyzing 13 million LLM labels, we test 2,361 realistic hypotheses to measure how plausible researcher choices affect statistical conclusions. We find incorrect conclusions based on LLM-annotated data in approximately one in three hypotheses for state-of-the-art models, and in half the hypotheses for small language models. While our findings show that higher task performance and better general model capabilities reduce LLM hacking risk, even highly accurate models do not completely eliminate it. The risk of LLM hacking decreases as effect sizes increase, indicating the need for more rigorous verification of findings near significance thresholds. Our extensive analysis of LLM hacking mitigation techniques emphasizes the importance of human annotations in reducing false positive findings and improving model selection. Surprisingly, common regression estimator correction techniques are largely ineffective in reducing LLM hacking risk, as they heavily trade off Type I vs. Type II errors. Beyond accidental errors, we find that intentional LLM hacking is unacceptably simple. With few LLMs and just a handful of prompt paraphrases, anything can be presented as statistically significant.