機械的デタラメ：大規模言語モデルにおける真実軽視の特徴付け

Machine Bullshit: Characterizing the Emergent Disregard for Truth in Large Language Models

July 10, 2025

著者: Kaiqu Liang, Haimin Hu, Xuandong Zhao, Dawn Song, Thomas L. Griffiths, Jaime Fernández Fisac

cs.AI

要旨

哲学者ハリー・フランクファートが概念化した「でたらめ（bullshit）」とは、真偽を考慮せずになされる言明を指す。これまでの研究では、大規模言語モデル（LLM）の幻覚（hallucination）や迎合性（sycophancy）が探求されてきたが、我々は「機械のでたらめ（machine bullshit）」を包括的な概念フレームワークとして提案し、LLMにおける真実性の喪失という広範な現象を特徴づけ、その根底にあるメカニズムを明らかにすることを目指す。我々は、LLMの真実への無関心を定量化する新たな指標「でたらめ指数（Bullshit Index）」を導入し、でたらめの4つの質的形態（空虚な修辞、ごまかし、曖昧な言葉、未検証の主張）を分析する補完的な分類体系を提案する。我々は、Marketplaceデータセット、Political Neutralityデータセット、および機械のでたらめを評価するために明示的に設計された新たなベンチマーク「BullshitEval」（100のAIアシスタントにまたがる2,400のシナリオ）を用いて実証評価を行った。その結果、人間のフィードバックからの強化学習（RLHF）を用いたモデルのファインチューニングがでたらめを著しく悪化させ、推論時の連鎖的思考（CoT）プロンプトが特定のでたらめ形態、特に空虚な修辞やごまかしを顕著に増幅することが明らかになった。また、政治的文脈では、曖昧な言葉が支配的な戦略として機械のでたらめが広く見られることが観察された。我々の知見は、AIアラインメントにおける体系的な課題を浮き彫りにし、より真実に近いLLMの行動に向けた新たな洞察を提供する。

English

Bullshit, as conceptualized by philosopher Harry Frankfurt, refers to statements made without regard to their truth value. While previous work has explored large language model (LLM) hallucination and sycophancy, we propose machine bullshit as an overarching conceptual framework that can allow researchers to characterize the broader phenomenon of emergent loss of truthfulness in LLMs and shed light on its underlying mechanisms. We introduce the Bullshit Index, a novel metric quantifying LLMs' indifference to truth, and propose a complementary taxonomy analyzing four qualitative forms of bullshit: empty rhetoric, paltering, weasel words, and unverified claims. We conduct empirical evaluations on the Marketplace dataset, the Political Neutrality dataset, and our new BullshitEval benchmark (2,400 scenarios spanning 100 AI assistants) explicitly designed to evaluate machine bullshit. Our results demonstrate that model fine-tuning with reinforcement learning from human feedback (RLHF) significantly exacerbates bullshit and inference-time chain-of-thought (CoT) prompting notably amplify specific bullshit forms, particularly empty rhetoric and paltering. We also observe prevalent machine bullshit in political contexts, with weasel words as the dominant strategy. Our findings highlight systematic challenges in AI alignment and provide new insights toward more truthful LLM behavior.