Parrot: Persuasion and Agreement Robustness Rating of Output Truth – Ein Benchmark für die Robustheit von LLMs gegenüber Sykophantie

Parrot: Persuasion and Agreement Robustness Rating of Output Truth -- A Sycophancy Robustness Benchmark for LLMs

November 21, 2025

papers.authors: Yusuf Çelebi, Mahmoud El Hussieni, Özay Ezerceli

cs.AI

papers.abstract

Diese Studie stellt PARROT (Persuasion and Agreement Robustness Rating of Output Truth) vor, ein auf Robustheit fokussiertes Framework, das entwickelt wurde, um die Verschlechterung der Genauigkeit zu messen, die unter sozialem Druck auftritt, der auf Nutzer durch Autorität und Überzeugung in großen Sprachmodellen (LLMs) ausgeübt wird – das Phänomen der Sykophantie (übertriebene Konformität). PARROT (i) isoliert kausale Effekte, indem es die neutrale Version derselben Frage mit einer autoritativ falschen Version mittels einer doppelblinden Evaluation vergleicht, (ii) quantifiziert Konfidenzverschiebungen hin zu den korrekten und aufgezwungenen falschen Antworten unter Verwendung einer log-Likelihood-basierten Kalibrierungsverfolgung und (iii) klassifiziert systematisch Fehlermodi (z.B. robust korrekt, sykophantische Zustimmung, verstärkter Fehler, sturer Fehler, Selbstkorrektur etc.) anhand einer achtstufigen Verhaltenstaxonomie. Wir evaluierten 22 Modelle mit 1.302 MMLU-artigen Multiple-Choice-Fragen über 13 Domänen und domänenspezifischen Autoritätsvorlagen. Die Ergebnisse zeigen eine deutliche Heterogenität: Fortschrittliche Modelle (z.B. GPT-5, GPT-4.1, Claude Sonnet 4.5) weisen niedrige "Folgeraten" (≤ 11%, GPT-5: 4%) und minimalen Genauigkeitsverlust auf, während ältere/kleinere Modelle einen schwerwiegenden epistemischen Kollaps zeigen (GPT-4: 80%, Qwen 2.5-1.5B: 94%). Die Gefahr beschränkt sich nicht auf Antwortänderungen; schwache Modelle reduzieren die Konfidenz in die korrekte Antwort, während sie die Konfidenz in die aufgezwungene falsche Antwort erhöhen. Während internationales Recht und globales Wissen auf Domänenebene eine hohe Fragilität aufweisen, ist elementare Mathematik relativ resilient. Folglich argumentieren wir, dass das Ziel der "Widerstandsfähigkeit gegen Überzeugungsdruck" als primäres Ziel neben Genauigkeit, Schadensvermeidung und Privatsphäre für den sicheren Einsatz in der realen Welt behandelt werden sollte.

English

This study presents PARROT (Persuasion and Agreement Robustness Rating of Output Truth), a robustness focused framework designed to measure the degradation in accuracy that occurs under social pressure exerted on users through authority and persuasion in large language models (LLMs) the phenomenon of sycophancy (excessive conformity). PARROT (i) isolates causal effects by comparing the neutral version of the same question with an authoritatively false version using a double-blind evaluation, (ii) quantifies confidence shifts toward the correct and imposed false responses using log-likelihood-based calibration tracking, and (iii) systematically classifies failure modes (e.g., robust correct, sycophantic agreement, reinforced error, stubborn error, self-correction, etc.) using an eight-state behavioral taxonomy. We evaluated 22 models using 1,302 MMLU-style multiple-choice questions across 13 domains and domain-specific authority templates. Findings show marked heterogeneity: advanced models (e.g., GPT-5, GPT-4.1, Claude Sonnet 4.5) exhibit low "follow rates" (leq 11%, GPT-5: 4\%) and minimal accuracy loss, while older/smaller models show severe epistemic collapse (GPT-4: 80\%, Qwen 2.5-1.5B: 94\%). The danger is not limited to response changes; weak models reduce confidence in the correct response while increasing confidence in the imposed incorrect response. While international law and global knowledge at the domain level exhibit high fragility, elementary mathematics is relatively resilient. Consequently, we argue that the goal of "resistance to overfitting pressure" should be addressed as a primary objective alongside accuracy, harm avoidance, and privacy for safe deployment in the real world.