Hacking dei Modelli Linguistici di Grandi Dimensioni: Quantificazione dei Rischi Nascosti nell'Utilizzo degli LLM per l'Annotazione del Testo

Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation

September 10, 2025

Autori: Joachim Baumann, Paul Röttger, Aleksandra Urman, Albert Wendsjö, Flor Miriam Plaza-del-Arco, Johannes B. Gruber, Dirk Hovy

cs.AI

Abstract

I grandi modelli linguistici (LLM) stanno rapidamente trasformando la ricerca nelle scienze sociali, consentendo l'automazione di attività ad alta intensità di lavoro come l'annotazione dei dati e l'analisi del testo. Tuttavia, gli output degli LLM variano significativamente a seconda delle scelte di implementazione fatte dai ricercatori (ad esempio, selezione del modello, strategia di prompt o impostazioni della temperatura). Tale variazione può introdurre bias sistematici ed errori casuali, che si propagano alle analisi successive e causano errori di Tipo I, Tipo II, Tipo S o Tipo M. Definiamo questo fenomeno come "LLM hacking". Quantifichiamo il rischio di LLM hacking replicando 37 attività di annotazione dati da 21 studi di ricerca pubblicati nelle scienze sociali con 18 modelli diversi. Analizzando 13 milioni di etichette generate da LLM, testiamo 2.361 ipotesi realistiche per misurare come le scelte plausibili dei ricercatori influenzano le conclusioni statistiche. Troviamo conclusioni errate basate su dati annotati da LLM in circa un'ipotesi su tre per i modelli all'avanguardia e in metà delle ipotesi per i modelli linguistici più piccoli. Sebbene i nostri risultati mostrino che prestazioni migliori nei compiti e capacità generali superiori dei modelli riducano il rischio di LLM hacking, anche i modelli altamente accurati non lo eliminano completamente. Il rischio di LLM hacking diminuisce all'aumentare delle dimensioni degli effetti, indicando la necessità di una verifica più rigorosa dei risultati vicini alle soglie di significatività. La nostra ampia analisi delle tecniche di mitigazione dell'LLM hacking sottolinea l'importanza delle annotazioni umane nel ridurre i falsi positivi e migliorare la selezione dei modelli. Sorprendentemente, le comuni tecniche di correzione degli stimatori di regressione sono largamente inefficaci nel ridurre il rischio di LLM hacking, poiché compromettono pesantemente gli errori di Tipo I rispetto a quelli di Tipo II. Oltre agli errori accidentali, scopriamo che l'LLM hacking intenzionale è inaccettabilmente semplice. Con pochi LLM e solo una manciata di variazioni di prompt, qualsiasi cosa può essere presentata come statisticamente significativa.

English

Large language models (LLMs) are rapidly transforming social science research by enabling the automation of labor-intensive tasks like data annotation and text analysis. However, LLM outputs vary significantly depending on the implementation choices made by researchers (e.g., model selection, prompting strategy, or temperature settings). Such variation can introduce systematic biases and random errors, which propagate to downstream analyses and cause Type I, Type II, Type S, or Type M errors. We call this LLM hacking. We quantify the risk of LLM hacking by replicating 37 data annotation tasks from 21 published social science research studies with 18 different models. Analyzing 13 million LLM labels, we test 2,361 realistic hypotheses to measure how plausible researcher choices affect statistical conclusions. We find incorrect conclusions based on LLM-annotated data in approximately one in three hypotheses for state-of-the-art models, and in half the hypotheses for small language models. While our findings show that higher task performance and better general model capabilities reduce LLM hacking risk, even highly accurate models do not completely eliminate it. The risk of LLM hacking decreases as effect sizes increase, indicating the need for more rigorous verification of findings near significance thresholds. Our extensive analysis of LLM hacking mitigation techniques emphasizes the importance of human annotations in reducing false positive findings and improving model selection. Surprisingly, common regression estimator correction techniques are largely ineffective in reducing LLM hacking risk, as they heavily trade off Type I vs. Type II errors. Beyond accidental errors, we find that intentional LLM hacking is unacceptably simple. With few LLMs and just a handful of prompt paraphrases, anything can be presented as statistically significant.