Maschineller Unsinn: Charakterisierung der entstehenden Missachtung der Wahrheit in großen Sprachmodellen

Machine Bullshit: Characterizing the Emergent Disregard for Truth in Large Language Models

July 10, 2025

papers.authors: Kaiqu Liang, Haimin Hu, Xuandong Zhao, Dawn Song, Thomas L. Griffiths, Jaime Fernández Fisac

cs.AI

papers.abstract

Bullshit, wie es der Philosoph Harry Frankfurt konzipiert hat, bezieht sich auf Aussagen, die ohne Rücksicht auf ihren Wahrheitsgehalt getätigt werden. Während frühere Arbeiten Halluzinationen und Unterwürfigkeit bei großen Sprachmodellen (LLMs) untersucht haben, schlagen wir maschinelles Bullshit als übergreifendes konzeptionelles Rahmenwerk vor, das Forschern ermöglicht, das breitere Phänomen des emergenten Wahrheitsverlusts in LLMs zu charakterisieren und dessen zugrunde liegende Mechanismen zu beleuchten. Wir führen den Bullshit-Index ein, eine neuartige Metrik, die die Gleichgültigkeit von LLMs gegenüber der Wahrheit quantifiziert, und schlagen eine komplementäre Taxonomie vor, die vier qualitative Formen von Bullshit analysiert: leere Rhetorik, Täuschung, Weasel Words und unbestätigte Behauptungen. Wir führen empirische Bewertungen auf dem Marketplace-Datensatz, dem Political Neutrality-Datensatz und unserem neuen BullshitEval-Benchmark (2.400 Szenarien, die 100 KI-Assistenten umfassen) durch, der explizit zur Bewertung von maschinellem Bullshit entwickelt wurde. Unsere Ergebnisse zeigen, dass das Feinabstimmen von Modellen mit Reinforcement Learning from Human Feedback (RLHF) Bullshit signifikant verschärft und Chain-of-Thought (CoT)-Prompting zur Inferenzzeit bestimmte Bullshit-Formen, insbesondere leere Rhetorik und Täuschung, deutlich verstärkt. Wir beobachten auch weit verbreitetes maschinelles Bullshit in politischen Kontexten, wobei Weasel Words die dominante Strategie sind. Unsere Erkenntnisse unterstreichen systematische Herausforderungen bei der KI-Alignment und bieten neue Einblicke in Richtung eines wahrheitsgetreueren Verhaltens von LLMs.

English

Bullshit, as conceptualized by philosopher Harry Frankfurt, refers to statements made without regard to their truth value. While previous work has explored large language model (LLM) hallucination and sycophancy, we propose machine bullshit as an overarching conceptual framework that can allow researchers to characterize the broader phenomenon of emergent loss of truthfulness in LLMs and shed light on its underlying mechanisms. We introduce the Bullshit Index, a novel metric quantifying LLMs' indifference to truth, and propose a complementary taxonomy analyzing four qualitative forms of bullshit: empty rhetoric, paltering, weasel words, and unverified claims. We conduct empirical evaluations on the Marketplace dataset, the Political Neutrality dataset, and our new BullshitEval benchmark (2,400 scenarios spanning 100 AI assistants) explicitly designed to evaluate machine bullshit. Our results demonstrate that model fine-tuning with reinforcement learning from human feedback (RLHF) significantly exacerbates bullshit and inference-time chain-of-thought (CoT) prompting notably amplify specific bullshit forms, particularly empty rhetoric and paltering. We also observe prevalent machine bullshit in political contexts, with weasel words as the dominant strategy. Our findings highlight systematic challenges in AI alignment and provide new insights toward more truthful LLM behavior.