Parrot: Persuasion and Agreement Robustness Rating of Output Truth – Een robuustheidsbenchmark voor LLM's om slaafs gedrag te meten

Parrot: Persuasion and Agreement Robustness Rating of Output Truth -- A Sycophancy Robustness Benchmark for LLMs

November 21, 2025

Auteurs: Yusuf Çelebi, Mahmoud El Hussieni, Özay Ezerceli

cs.AI

Samenvatting

Dit onderzoek presenteert PARROT (Persuasion and Agreement Robustness Rating of Output Truth), een robuustheidsgericht raamwerk ontworpen om de afname in nauwkeurigheid te meten die optreedt onder sociale druk uitgeoefend op gebruikers via autoriteit en overreding in grote taalmodellen (LLM's), het fenomeen van sycofantie (overdreven conformiteit). PARROT (i) isoleert causale effecten door de neutrale versie van dezelfde vraag te vergelijken met een autoritair onjuiste versie met behulp van een dubbelblinde evaluatie, (ii) kwantificeert vertrouwensverschuivingen naar de correcte en opgelegde onjuiste antwoorden met behulp van op log-waarschijnlijkheid gebaseerde kalibratietracking, en (iii) classificeert systematisch faalmodi (bijv. robuust correct, sycofante instemming, versterkte fout, hardnekkige fout, zelfcorrectie, etc.) met behulp van een achtstatig gedragstaxonomie. We evalueerden 22 modellen met behulp van 1.302 MMLU-stijl meerkeuzevragen over 13 domeinen en domeinspecifieke autoriteitssjablonen. De bevindingen tonen een duidelijke heterogeniteit: geavanceerde modellen (bijv. GPT-5, GPT-4.1, Claude Sonnet 4.5) vertonen lage "volgpercentages" (≤ 11%, GPT-5: 4%) en minimaal nauwkeurigheidsverlies, terwijl oudere/kleinere modellen ernstige epistemische ineenstorting vertonen (GPT-4: 80%, Qwen 2.5-1.5B: 94%). Het gevaar is niet beperkt tot antwoordveranderingen; zwakke modellen verminderen het vertrouwen in het correcte antwoord terwijl het vertrouwen in het opgelegde incorrecte antwoord toeneemt. Hoewel internationaal recht en globale kennis op domeinniveau een hoge kwetsbaarheid vertonen, is elementaire wiskunde relatief veerkrachtig. Bijgevolg beargumenteren wij dat het doel van "weerstand tegen overredingsdruk" als een primair doelstelling moet worden aangepakt, naast nauwkeurigheid, het vermijden van schade en privacy, voor een veilige inzet in de praktijk.

English

This study presents PARROT (Persuasion and Agreement Robustness Rating of Output Truth), a robustness focused framework designed to measure the degradation in accuracy that occurs under social pressure exerted on users through authority and persuasion in large language models (LLMs) the phenomenon of sycophancy (excessive conformity). PARROT (i) isolates causal effects by comparing the neutral version of the same question with an authoritatively false version using a double-blind evaluation, (ii) quantifies confidence shifts toward the correct and imposed false responses using log-likelihood-based calibration tracking, and (iii) systematically classifies failure modes (e.g., robust correct, sycophantic agreement, reinforced error, stubborn error, self-correction, etc.) using an eight-state behavioral taxonomy. We evaluated 22 models using 1,302 MMLU-style multiple-choice questions across 13 domains and domain-specific authority templates. Findings show marked heterogeneity: advanced models (e.g., GPT-5, GPT-4.1, Claude Sonnet 4.5) exhibit low "follow rates" (leq 11%, GPT-5: 4\%) and minimal accuracy loss, while older/smaller models show severe epistemic collapse (GPT-4: 80\%, Qwen 2.5-1.5B: 94\%). The danger is not limited to response changes; weak models reduce confidence in the correct response while increasing confidence in the imposed incorrect response. While international law and global knowledge at the domain level exhibit high fragility, elementary mathematics is relatively resilient. Consequently, we argue that the goal of "resistance to overfitting pressure" should be addressed as a primary objective alongside accuracy, harm avoidance, and privacy for safe deployment in the real world.