Взлом крупных языковых моделей: количественная оценка скрытых рисков использования LLM для аннотирования текста

Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation

September 10, 2025

Авторы: Joachim Baumann, Paul Röttger, Aleksandra Urman, Albert Wendsjö, Flor Miriam Plaza-del-Arco, Johannes B. Gruber, Dirk Hovy

cs.AI

Аннотация

Крупные языковые модели (LLM) стремительно преобразуют исследования в социальных науках, позволяя автоматизировать трудоемкие задачи, такие как аннотирование данных и анализ текста. Однако результаты работы LLM значительно варьируются в зависимости от решений, принимаемых исследователями (например, выбор модели, стратегия промптинга или настройки температуры). Такие вариации могут приводить к систематическим смещениям и случайным ошибкам, которые распространяются на последующие анализы и вызывают ошибки типа I, типа II, типа S или типа M. Мы называем это "взломом LLM". Мы количественно оцениваем риск взлома LLM, воспроизводя 37 задач аннотирования данных из 21 опубликованного исследования в социальных науках с использованием 18 различных моделей. Анализируя 13 миллионов меток, сгенерированных LLM, мы проверяем 2 361 реалистичную гипотезу, чтобы измерить, как выбор исследователей влияет на статистические выводы. Мы обнаруживаем некорректные выводы на основе данных, аннотированных LLM, примерно в одной из трех гипотез для современных моделей и в половине гипотез для небольших языковых моделей. Хотя наши результаты показывают, что более высокая производительность задач и улучшенные общие возможности моделей снижают риск взлома LLM, даже высокоточные модели не устраняют его полностью. Риск взлома LLM уменьшается с увеличением размеров эффектов, что указывает на необходимость более строгой проверки результатов, близких к порогам значимости. Наш обширный анализ методов снижения риска взлома LLM подчеркивает важность человеческих аннотаций для уменьшения ложноположительных результатов и улучшения выбора моделей. Удивительно, но распространенные методы коррекции регрессионных оценок в значительной степени неэффективны в снижении риска взлома LLM, поскольку они сильно компенсируют ошибки типа I за счет ошибок типа II. Помимо случайных ошибок, мы обнаруживаем, что намеренный взлом LLM неприемлемо прост. С использованием нескольких LLM и всего нескольких перефразированных промптов можно представить что угодно как статистически значимое.

English

Large language models (LLMs) are rapidly transforming social science research by enabling the automation of labor-intensive tasks like data annotation and text analysis. However, LLM outputs vary significantly depending on the implementation choices made by researchers (e.g., model selection, prompting strategy, or temperature settings). Such variation can introduce systematic biases and random errors, which propagate to downstream analyses and cause Type I, Type II, Type S, or Type M errors. We call this LLM hacking. We quantify the risk of LLM hacking by replicating 37 data annotation tasks from 21 published social science research studies with 18 different models. Analyzing 13 million LLM labels, we test 2,361 realistic hypotheses to measure how plausible researcher choices affect statistical conclusions. We find incorrect conclusions based on LLM-annotated data in approximately one in three hypotheses for state-of-the-art models, and in half the hypotheses for small language models. While our findings show that higher task performance and better general model capabilities reduce LLM hacking risk, even highly accurate models do not completely eliminate it. The risk of LLM hacking decreases as effect sizes increase, indicating the need for more rigorous verification of findings near significance thresholds. Our extensive analysis of LLM hacking mitigation techniques emphasizes the importance of human annotations in reducing false positive findings and improving model selection. Surprisingly, common regression estimator correction techniques are largely ineffective in reducing LLM hacking risk, as they heavily trade off Type I vs. Type II errors. Beyond accidental errors, we find that intentional LLM hacking is unacceptably simple. With few LLMs and just a handful of prompt paraphrases, anything can be presented as statistically significant.