Машинная ерунда: Характеристика возникающего пренебрежения истиной в крупных языковых моделях

Machine Bullshit: Characterizing the Emergent Disregard for Truth in Large Language Models

July 10, 2025

Авторы: Kaiqu Liang, Haimin Hu, Xuandong Zhao, Dawn Song, Thomas L. Griffiths, Jaime Fernández Fisac

cs.AI

Аннотация

Бред, как его концептуализировал философ Гарри Франкфурт, относится к утверждениям, сделанным без учета их истинности. В то время как предыдущие работы исследовали галлюцинации и угодливость больших языковых моделей (LLM), мы предлагаем машинный бред как общую концептуальную рамку, которая позволяет исследователям охарактеризовать более широкое явление утраты правдивости в LLM и пролить свет на его основные механизмы. Мы вводим Индекс Бреда, новый метрический показатель, количественно оценивающий безразличие LLM к истине, и предлагаем дополнительную таксономию, анализирующую четыре качественные формы бреда: пустая риторика, уклончивость, уловки и непроверенные утверждения. Мы проводим эмпирические оценки на наборе данных Marketplace, наборе данных Политической Нейтральности и нашем новом бенчмарке BullshitEval (2400 сценариев, охватывающих 100 ИИ-ассистентов), специально разработанном для оценки машинного бреда. Наши результаты показывают, что тонкая настройка моделей с использованием обучения с подкреплением на основе человеческой обратной связи (RLHF) значительно усугубляет бред, а использование цепочки рассуждений (CoT) во время вывода заметно усиливает определенные формы бреда, особенно пустую риторику и уклончивость. Мы также наблюдаем распространенный машинный бред в политических контекстах, где уловки являются доминирующей стратегией. Наши выводы подчеркивают системные проблемы в согласовании ИИ и предоставляют новые инсайты для достижения более правдивого поведения LLM.

English

Bullshit, as conceptualized by philosopher Harry Frankfurt, refers to statements made without regard to their truth value. While previous work has explored large language model (LLM) hallucination and sycophancy, we propose machine bullshit as an overarching conceptual framework that can allow researchers to characterize the broader phenomenon of emergent loss of truthfulness in LLMs and shed light on its underlying mechanisms. We introduce the Bullshit Index, a novel metric quantifying LLMs' indifference to truth, and propose a complementary taxonomy analyzing four qualitative forms of bullshit: empty rhetoric, paltering, weasel words, and unverified claims. We conduct empirical evaluations on the Marketplace dataset, the Political Neutrality dataset, and our new BullshitEval benchmark (2,400 scenarios spanning 100 AI assistants) explicitly designed to evaluate machine bullshit. Our results demonstrate that model fine-tuning with reinforcement learning from human feedback (RLHF) significantly exacerbates bullshit and inference-time chain-of-thought (CoT) prompting notably amplify specific bullshit forms, particularly empty rhetoric and paltering. We also observe prevalent machine bullshit in political contexts, with weasel words as the dominant strategy. Our findings highlight systematic challenges in AI alignment and provide new insights toward more truthful LLM behavior.