Один токен, чтобы обмануть LLM-как-судью
One Token to Fool LLM-as-a-Judge
July 11, 2025
Авторы: Yulai Zhao, Haolin Liu, Dian Yu, S. Y. Kung, Haitao Mi, Dong Yu
cs.AI
Аннотация
Генеративные модели вознаграждения (также известные как LLM-как-судьи), которые используют большие языковые модели (LLM) для оценки качества ответов, всё чаще применяются в обучении с подкреплением с проверяемыми вознаграждениями (RLVR). Они часто предпочтительнее жёстких метрик, основанных на правилах, особенно для сложных задач, связанных с рассуждениями и свободными формами ответов. В этой парадигме LLM обычно запрашивают для сравнения кандидата на ответ с эталонным и присвоения бинарного вознаграждения, указывающего на правильность. Несмотря на кажущуюся простоту этой задачи сравнения, мы обнаруживаем, что генеративные модели вознаграждения демонстрируют удивительную уязвимость к поверхностным манипуляциям: небуквенные символы (например, ":" или ".") или вводные фразы для рассуждений, такие как "Процесс мышления:" и "Давайте решим эту задачу шаг за шагом", часто приводят к ложноположительным вознаграждениям. Мы показываем, что эта слабость широко распространена среди LLM, наборов данных и форматов запросов, что представляет серьёзную угрозу для ключевых алгоритмических парадигм, таких как отбор с отклонением, оптимизация предпочтений и RLVR. Для смягчения этой проблемы мы предлагаем простую, но эффективную стратегию аугментации данных и обучаем новую генеративную модель вознаграждения с существенно улучшенной устойчивостью. Наши результаты подчёркивают острую необходимость в более надёжных методах оценки на основе LLM. Мы публикуем нашу устойчивую, универсальную модель вознаграждения и её синтетические обучающие данные по адресам https://huggingface.co/sarosavo/Master-RM и https://huggingface.co/datasets/sarosavo/Master-RM.
English
Generative reward models (also known as LLMs-as-judges), which use large
language models (LLMs) to evaluate answer quality, are increasingly adopted in
reinforcement learning with verifiable rewards (RLVR). They are often preferred
over rigid rule-based metrics, especially for complex reasoning tasks involving
free-form outputs. In this paradigm, an LLM is typically prompted to compare a
candidate answer against a ground-truth reference and assign a binary reward
indicating correctness. Despite the seeming simplicity of this comparison task,
we find that generative reward models exhibit surprising vulnerabilities to
superficial manipulations: non-word symbols (e.g., ":" or ".") or reasoning
openers like "Thought process:" and "Let's solve this problem step by step."
can often lead to false positive rewards. We demonstrate that this weakness is
widespread across LLMs, datasets, and prompt formats, posing a serious threat
for core algorithmic paradigms that rely on generative reward models, such as
rejection sampling, preference optimization, and RLVR. To mitigate this issue,
we introduce a simple yet effective data augmentation strategy and train a new
generative reward model with substantially improved robustness. Our findings
highlight the urgent need for more reliable LLM-based evaluation methods. We
release our robust, general-domain reward model and its synthetic training data
at https://huggingface.co/sarosavo/Master-RM and
https://huggingface.co/datasets/sarosavo/Master-RM.