Кто ваш судья? О детектируемости суждений, сгенерированных языковыми моделями

Who's Your Judge? On the Detectability of LLM-Generated Judgments

September 29, 2025

Авторы: Dawei Li, Zhen Tan, Chengshuai Zhao, Bohan Jiang, Baixiang Huang, Pingchuan Ma, Abdullah Alnaibari, Kai Shu, Huan Liu

cs.AI

Аннотация

Оценки на основе больших языковых моделей (LLM) используют мощные LLM для эффективной оценки кандидатов и предоставления оценочных баллов. Однако присущие LLM-генерации суждений предубеждения и уязвимости вызывают обеспокоенность, подчеркивая острую необходимость их выявления в чувствительных сценариях, таких как академическое рецензирование. В данной работе мы предлагаем и формализуем задачу обнаружения суждений и систематически исследуем возможность выявления LLM-генерации суждений. В отличие от обнаружения LLM-генерации текста, обнаружение суждений опирается исключительно на оценочные баллы и кандидатов, что отражает реальные сценарии, где текстовые отзывы часто недоступны в процессе обнаружения. Наш предварительный анализ показывает, что существующие методы обнаружения LLM-генерации текста работают плохо из-за их неспособности уловить взаимодействие между оценочными баллами и содержанием кандидатов — аспект, критически важный для эффективного обнаружения суждений. Вдохновленные этим, мы представляем J-Detector, легкий и прозрачный нейронный детектор, дополненный явно извлеченными лингвистическими и LLM-усиленными признаками, чтобы связать предубеждения LLM-судей со свойствами кандидатов для точного обнаружения. Эксперименты на различных наборах данных демонстрируют эффективность J-Detector и показывают, как его интерпретируемость позволяет количественно оценивать предубеждения LLM-судей. Наконец, мы анализируем ключевые факторы, влияющие на возможность выявления LLM-генерации суждений, и подтверждаем практическую полезность обнаружения суждений в реальных сценариях.

English

Large Language Model (LLM)-based judgments leverage powerful LLMs to efficiently evaluate candidate content and provide judgment scores. However, the inherent biases and vulnerabilities of LLM-generated judgments raise concerns, underscoring the urgent need for distinguishing them in sensitive scenarios like academic peer reviewing. In this work, we propose and formalize the task of judgment detection and systematically investigate the detectability of LLM-generated judgments. Unlike LLM-generated text detection, judgment detection relies solely on judgment scores and candidates, reflecting real-world scenarios where textual feedback is often unavailable in the detection process. Our preliminary analysis shows that existing LLM-generated text detection methods perform poorly given their incapability to capture the interaction between judgment scores and candidate content -- an aspect crucial for effective judgment detection. Inspired by this, we introduce J-Detector, a lightweight and transparent neural detector augmented with explicitly extracted linguistic and LLM-enhanced features to link LLM judges' biases with candidates' properties for accurate detection. Experiments across diverse datasets demonstrate the effectiveness of J-Detector and show how its interpretability enables quantifying biases in LLM judges. Finally, we analyze key factors affecting the detectability of LLM-generated judgments and validate the practical utility of judgment detection in real-world scenarios.