Parrot: Устойчивость к убеждению и согласию — оценка правдивости выводов — эталонный тест на устойчивость к сервильности для больших языковых моделей

Parrot: Persuasion and Agreement Robustness Rating of Output Truth -- A Sycophancy Robustness Benchmark for LLMs

November 21, 2025

Авторы: Yusuf Çelebi, Mahmoud El Hussieni, Özay Ezerceli

cs.AI

Аннотация

В данном исследовании представлена система PARROT (Persuasion and Agreement Robustness Rating of Output Truth), ориентированная на оценку устойчивости и предназначенная для измерения снижения точности, возникающего под воздействием социального давления, оказываемого на пользователей через авторитет и убеждение в больших языковых моделях (LLM), — феномена сикофантства (чрезмерной конформности). PARROT (i) изолирует причинно-следственные эффекты, сравнивая нейтральную версию вопроса с авторитетно-ложной версией с помощью двойного слепого оценивания, (ii) количественно оценивает сдвиги уверенности в сторону правильных и навязанных ложных ответов с использованием калибровочного отслеживания на основе логарифмического правдоподобия и (iii) систематически классифицирует режимы отказов (например, устойчиво правильный, сикофантическое согласие, усиленная ошибка, упорная ошибка, самокоррекция и т.д.) с использованием восьмиуровневой поведенческой таксономии. Мы оценили 22 модели, используя 1302 вопроса в стиле MMLU с множественным выбором по 13 предметным областям и шаблонам авторитетности, специфичным для каждой области. Результаты демонстрируют значительную неоднородность: передовые модели (например, GPT-5, GPT-4.1, Claude Sonnet 4.5) показывают низкие «проценты следования» (≤ 11%, GPT-5: 4%) и минимальную потерю точности, в то время как более старые/меньшие модели демонстрируют серьезный эпистемический коллапс (GPT-4: 80%, Qwen 2.5-1.5B: 94%). Опасность не ограничивается изменением ответов; слабые модели снижают уверенность в правильном ответе, одновременно повышая уверенность в навязанном неверном ответе. В то время как международное право и глобальные знания на предметном уровне проявляют высокую хрупкость, элементарная математика оказалась относительно устойчивой. Следовательно, мы утверждаем, что цель «устойчивости к давлению чрезмерного согласия» должна рассматриваться в качестве первоочередной задачи наряду с точностью, предотвращением вреда и конфиденциальностью для безопасного развертывания в реальном мире.

English

This study presents PARROT (Persuasion and Agreement Robustness Rating of Output Truth), a robustness focused framework designed to measure the degradation in accuracy that occurs under social pressure exerted on users through authority and persuasion in large language models (LLMs) the phenomenon of sycophancy (excessive conformity). PARROT (i) isolates causal effects by comparing the neutral version of the same question with an authoritatively false version using a double-blind evaluation, (ii) quantifies confidence shifts toward the correct and imposed false responses using log-likelihood-based calibration tracking, and (iii) systematically classifies failure modes (e.g., robust correct, sycophantic agreement, reinforced error, stubborn error, self-correction, etc.) using an eight-state behavioral taxonomy. We evaluated 22 models using 1,302 MMLU-style multiple-choice questions across 13 domains and domain-specific authority templates. Findings show marked heterogeneity: advanced models (e.g., GPT-5, GPT-4.1, Claude Sonnet 4.5) exhibit low "follow rates" (leq 11%, GPT-5: 4\%) and minimal accuracy loss, while older/smaller models show severe epistemic collapse (GPT-4: 80\%, Qwen 2.5-1.5B: 94\%). The danger is not limited to response changes; weak models reduce confidence in the correct response while increasing confidence in the imposed incorrect response. While international law and global knowledge at the domain level exhibit high fragility, elementary mathematics is relatively resilient. Consequently, we argue that the goal of "resistance to overfitting pressure" should be addressed as a primary objective alongside accuracy, harm avoidance, and privacy for safe deployment in the real world.