Hackeando Modelos de Linguagem de Grande Escala: Quantificando os Riscos Ocultos do Uso de LLMs para Anotação de Texto

Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation

September 10, 2025

Autores: Joachim Baumann, Paul Röttger, Aleksandra Urman, Albert Wendsjö, Flor Miriam Plaza-del-Arco, Johannes B. Gruber, Dirk Hovy

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) estão transformando rapidamente a pesquisa em ciências sociais ao permitir a automação de tarefas intensivas em mão de obra, como anotação de dados e análise de texto. No entanto, as saídas dos LLMs variam significativamente dependendo das escolhas de implementação feitas pelos pesquisadores (por exemplo, seleção do modelo, estratégia de prompt ou configurações de temperatura). Essa variação pode introduzir vieses sistemáticos e erros aleatórios, que se propagam para análises subsequentes e causam erros do Tipo I, Tipo II, Tipo S ou Tipo M. Chamamos isso de "hacking de LLM". Quantificamos o risco de hacking de LLM replicando 37 tarefas de anotação de dados de 21 estudos de pesquisa em ciências sociais publicados com 18 modelos diferentes. Analisando 13 milhões de rótulos gerados por LLMs, testamos 2.361 hipóteses realistas para medir como escolhas plausíveis dos pesquisadores afetam as conclusões estatísticas. Encontramos conclusões incorretas com base em dados anotados por LLMs em aproximadamente uma em cada três hipóteses para modelos de última geração e em metade das hipóteses para modelos de linguagem menores. Embora nossos resultados mostrem que um melhor desempenho na tarefa e capacidades gerais superiores do modelo reduzem o risco de hacking de LLM, mesmo modelos altamente precisos não o eliminam completamente. O risco de hacking de LLM diminui à medida que os tamanhos dos efeitos aumentam, indicando a necessidade de uma verificação mais rigorosa de descobertas próximas aos limiares de significância. Nossa análise extensiva de técnicas de mitigação de hacking de LLM enfatiza a importância das anotações humanas na redução de falsos positivos e na melhoria da seleção de modelos. Surpreendentemente, técnicas comuns de correção de estimadores de regressão são amplamente ineficazes na redução do risco de hacking de LLM, pois envolvem um grande trade-off entre erros do Tipo I e Tipo II. Além de erros acidentais, descobrimos que o hacking intencional de LLMs é inaceitavelmente simples. Com poucos LLMs e apenas algumas paráfrases de prompt, qualquer coisa pode ser apresentada como estatisticamente significativa.

English

Large language models (LLMs) are rapidly transforming social science research by enabling the automation of labor-intensive tasks like data annotation and text analysis. However, LLM outputs vary significantly depending on the implementation choices made by researchers (e.g., model selection, prompting strategy, or temperature settings). Such variation can introduce systematic biases and random errors, which propagate to downstream analyses and cause Type I, Type II, Type S, or Type M errors. We call this LLM hacking. We quantify the risk of LLM hacking by replicating 37 data annotation tasks from 21 published social science research studies with 18 different models. Analyzing 13 million LLM labels, we test 2,361 realistic hypotheses to measure how plausible researcher choices affect statistical conclusions. We find incorrect conclusions based on LLM-annotated data in approximately one in three hypotheses for state-of-the-art models, and in half the hypotheses for small language models. While our findings show that higher task performance and better general model capabilities reduce LLM hacking risk, even highly accurate models do not completely eliminate it. The risk of LLM hacking decreases as effect sizes increase, indicating the need for more rigorous verification of findings near significance thresholds. Our extensive analysis of LLM hacking mitigation techniques emphasizes the importance of human annotations in reducing false positive findings and improving model selection. Surprisingly, common regression estimator correction techniques are largely ineffective in reducing LLM hacking risk, as they heavily trade off Type I vs. Type II errors. Beyond accidental errors, we find that intentional LLM hacking is unacceptably simple. With few LLMs and just a handful of prompt paraphrases, anything can be presented as statistically significant.