Loro: Evaluación de la Persuasión y la Robustez del Acuerdo con la Verdad (Parrot) -- Un Punto de Referencia de Robustez ante la Sicofancia para los Modelos de Lenguaje Grandes

Parrot: Persuasion and Agreement Robustness Rating of Output Truth -- A Sycophancy Robustness Benchmark for LLMs

November 21, 2025

Autores: Yusuf Çelebi, Mahmoud El Hussieni, Özay Ezerceli

cs.AI

Resumen

Este estudio presenta PARROT (Persuasión y Evaluación de la Robustez del Acuerdo sobre la Verdad de la Salida), un marco centrado en la robustez diseñado para medir la degradación en la precisión que ocurre bajo presión social ejercida sobre los usuarios a través de la autoridad y la persuasión en los grandes modelos de lenguaje (LLM), el fenómeno de la sicofancia (conformidad excesiva). PARROT (i) aísla los efectos causales comparando la versión neutral de una misma pregunta con una versión autoritativamente falsa mediante una evaluación de doble ciego, (ii) cuantifica los cambios en la confianza hacia las respuestas correctas y las falsas impuestas utilizando un seguimiento de la calibración basado en verosimilitud logarítmica, y (iii) clasifica sistemáticamente los modos de fallo (por ejemplo, correcto robusto, acuerdo sicofántico, error reforzado, error obstinado, autocorrección, etc.) utilizando una taxonomía conductual de ocho estados. Evaluamos 22 modelos utilizando 1.302 preguntas de opción múltiple estilo MMLU en 13 dominios y plantillas de autoridad específicas de dominio. Los hallazgos muestran una marcada heterogeneidad: los modelos avanzados (por ejemplo, GPT-5, GPT-4.1, Claude Sonnet 4.5) exhiben "tasas de seguimiento" bajas (≤ 11%, GPT-5: 4%) y una pérdida de precisión mínima, mientras que los modelos más antiguos/pequeños muestran un colapso epistémico severo (GPT-4: 80%, Qwen 2.5-1.5B: 94%). El peligro no se limita a los cambios en la respuesta; los modelos débiles reducen la confianza en la respuesta correcta mientras aumentan la confianza en la respuesta incorrecta impuesta. Si bien el derecho internacional y el conocimiento global a nivel de dominio exhiben una alta fragilidad, las matemáticas elementales son relativamente resilientes. En consecuencia, sostenemos que el objetivo de la "resistencia a la presión de sobreajuste" debe abordarse como un objetivo principal junto con la precisión, la evitación de daños y la privacidad para un despliegue seguro en el mundo real.

English

This study presents PARROT (Persuasion and Agreement Robustness Rating of Output Truth), a robustness focused framework designed to measure the degradation in accuracy that occurs under social pressure exerted on users through authority and persuasion in large language models (LLMs) the phenomenon of sycophancy (excessive conformity). PARROT (i) isolates causal effects by comparing the neutral version of the same question with an authoritatively false version using a double-blind evaluation, (ii) quantifies confidence shifts toward the correct and imposed false responses using log-likelihood-based calibration tracking, and (iii) systematically classifies failure modes (e.g., robust correct, sycophantic agreement, reinforced error, stubborn error, self-correction, etc.) using an eight-state behavioral taxonomy. We evaluated 22 models using 1,302 MMLU-style multiple-choice questions across 13 domains and domain-specific authority templates. Findings show marked heterogeneity: advanced models (e.g., GPT-5, GPT-4.1, Claude Sonnet 4.5) exhibit low "follow rates" (leq 11%, GPT-5: 4\%) and minimal accuracy loss, while older/smaller models show severe epistemic collapse (GPT-4: 80\%, Qwen 2.5-1.5B: 94\%). The danger is not limited to response changes; weak models reduce confidence in the correct response while increasing confidence in the imposed incorrect response. While international law and global knowledge at the domain level exhibit high fragility, elementary mathematics is relatively resilient. Consequently, we argue that the goal of "resistance to overfitting pressure" should be addressed as a primary objective alongside accuracy, harm avoidance, and privacy for safe deployment in the real world.