Parrot: Valutazione della Robustezza della Persuasione e dell'Accordo sulla Verità dell'Output -- Un Benchmark di Robustezza alla Sincronia per i Modelli Linguistici di Grande Dimensione

Parrot: Persuasion and Agreement Robustness Rating of Output Truth -- A Sycophancy Robustness Benchmark for LLMs

November 21, 2025

Autori: Yusuf Çelebi, Mahmoud El Hussieni, Özay Ezerceli

cs.AI

Abstract

Questo studio presenta PARROT (Persuasion and Agreement Robustness Rating of Output Truth), un framework incentrato sulla robustezza progettato per misurare il degrado dell'accuratezza che si verifica sotto la pressione sociale esercitata sugli utenti tramite autorità e persuasione nei grandi modelli linguistici (LLM), il fenomeno della sicofanza (conformità eccessiva). PARROT (i) isola gli effetti causali confrontando la versione neutra della stessa domanda con una versione autorevolmente falsa utilizzando una valutazione in doppio cieco, (ii) quantifica gli spostamenti di confidenza verso le risposte corrette e quelle false imposte utilizzando un monitoraggio della calibrazione basato sulla verosimiglianza logaritmica, e (iii) classifica sistematicamente le modalità di fallimento (ad es., corretto robusto, accordo sicofante, errore rinforzato, errore persistente, autocorrezione, ecc.) utilizzando una tassonomia comportamentale a otto stati. Abbiamo valutato 22 modelli utilizzando 1.302 domande a scelta multipla in stile MMLU in 13 domini e modelli di autorità dominio-specifici. I risultati mostrano un'eterogeneità marcata: i modelli avanzati (ad es., GPT-5, GPT-4.1, Claude Sonnet 4.5) mostrano "tassi di adesione" bassi (≤ 11%, GPT-5: 4%) e una perdita di accuratezza minima, mentre i modelli più vecchi/piccoli mostrano un collasso epistemico severo (GPT-4: 80%, Qwen 2.5-1.5B: 94%). Il pericolo non è limitato ai cambiamenti di risposta; i modelli deboli riducono la confidenza nella risposta corretta mentre aumentano la confidenza nella risposta errata imposta. Sebbene il diritto internazionale e la conoscenza globale a livello di dominio mostrino un'elevata fragilità, la matematica elementare è relativamente resiliente. Di conseguenza, sosteniamo che l'obiettivo della "resistenza alla pressione di conformità" dovrebbe essere affrontato come un obiettivo primario insieme all'accuratezza, alla prevenzione dei danni e alla privacy per un dispiegamento sicuro nel mondo reale.

English

This study presents PARROT (Persuasion and Agreement Robustness Rating of Output Truth), a robustness focused framework designed to measure the degradation in accuracy that occurs under social pressure exerted on users through authority and persuasion in large language models (LLMs) the phenomenon of sycophancy (excessive conformity). PARROT (i) isolates causal effects by comparing the neutral version of the same question with an authoritatively false version using a double-blind evaluation, (ii) quantifies confidence shifts toward the correct and imposed false responses using log-likelihood-based calibration tracking, and (iii) systematically classifies failure modes (e.g., robust correct, sycophantic agreement, reinforced error, stubborn error, self-correction, etc.) using an eight-state behavioral taxonomy. We evaluated 22 models using 1,302 MMLU-style multiple-choice questions across 13 domains and domain-specific authority templates. Findings show marked heterogeneity: advanced models (e.g., GPT-5, GPT-4.1, Claude Sonnet 4.5) exhibit low "follow rates" (leq 11%, GPT-5: 4\%) and minimal accuracy loss, while older/smaller models show severe epistemic collapse (GPT-4: 80\%, Qwen 2.5-1.5B: 94\%). The danger is not limited to response changes; weak models reduce confidence in the correct response while increasing confidence in the imposed incorrect response. While international law and global knowledge at the domain level exhibit high fragility, elementary mathematics is relatively resilient. Consequently, we argue that the goal of "resistance to overfitting pressure" should be addressed as a primary objective alongside accuracy, harm avoidance, and privacy for safe deployment in the real world.