Крупные языковые модели могут страдать от "деградации интеллекта"!

LLMs Can Get "Brain Rot"!

October 15, 2025

Авторы: Shuo Xing, Junyuan Hong, Yifan Wang, Runjin Chen, Zhenyu Zhang, Ananth Grama, Zhengzhong Tu, Zhangyang Wang

cs.AI

Аннотация

Мы предлагаем и проверяем гипотезу "Гниения Мозга LLM": постоянное воздействие низкокачественного веб-текста вызывает устойчивое когнитивное снижение у крупных языковых моделей (LLM). Чтобы изолировать влияние качества данных, мы проводим контролируемые эксперименты на реальных корпусах Twitter/X, создавая наборы данных с низкокачественным и обратно контролируемым содержанием с использованием двух ортогональных операционализаций: M1 (степень вовлеченности) и M2 (семантическое качество), с сопоставимым объемом токенов и одинаковыми операциями обучения во всех условиях. В отличие от контрольной группы, постоянное предварительное обучение четырех LLM на низкокачественном наборе данных вызывает значительное снижение (Hedges' g > 0,3) в способностях к рассуждению, пониманию длинного контекста, безопасности и усилению "темных черт" (например, психопатии, нарциссизма). Постепенное смешивание низкокачественных и контрольных наборов данных также приводит к дозозависимому когнитивному ухудшению: например, при M1 результаты ARC-Challenge с использованием Chain of Thoughts падают с 74,9 до 57,2, а RULER-CWE — с 84,4 до 52,3 при увеличении доли низкокачественных данных с 0% до 100%. Анализ ошибок выявляет несколько ключевых инсайтов. Во-первых, мы идентифицируем "пропуск мыслей" как основное повреждение: модели все чаще укорачивают или пропускают цепочки рассуждений, что объясняет большую часть роста ошибок. Во-вторых, наблюдается частичное, но неполное восстановление: масштабирование настройки инструкций и предварительное обучение на чистых данных улучшают сниженные когнитивные способности, но не могут восстановить базовые возможности, что указывает на устойчивый дрейф представлений, а не на несоответствие формата. Наконец, мы обнаруживаем, что популярность твита, не семантическая метрика, является лучшим индикатором эффекта "Гниения Мозга", чем длина в M1. В совокупности результаты предоставляют значительные, многоплановые доказательства того, что качество данных является причинным фактором снижения возможностей LLM, переосмысливая кураторство для постоянного предварительного обучения как проблему безопасности на этапе обучения и мотивируя регулярные "когнитивные проверки здоровья" для развернутых LLM.

English

We propose and test the LLM Brain Rot Hypothesis: continual exposure to junk web text induces lasting cognitive decline in large language models (LLMs). To causally isolate data quality, we run controlled experiments on real Twitter/X corpora, constructing junk and reversely controlled datasets via two orthogonal operationalizations: M1 (engagement degree) and M2 (semantic quality), with matched token scale and training operations across conditions. Contrary to the control group, continual pre-training of 4 LLMs on the junk dataset causes non-trivial declines (Hedges' g>0.3) on reasoning, long-context understanding, safety, and inflating "dark traits" (e.g., psychopathy, narcissism). The gradual mixtures of junk and control datasets also yield dose-response cognition decay: for example, under M1, ARC-Challenge with Chain Of Thoughts drops 74.9 rightarrow 57.2 and RULER-CWE 84.4 rightarrow 52.3 as junk ratio rises from 0% to 100%. Error forensics reveal several key insights. First, we identify thought-skipping as the primary lesion: models increasingly truncate or skip reasoning chains, explaining most of the error growth. Second, partial but incomplete healing is observed: scaling instruction tuning and clean data pre-training improve the declined cognition yet cannot restore baseline capability, suggesting persistent representational drift rather than format mismatch. Finally, we discover that the popularity, a non-semantic metric, of a tweet is a better indicator of the Brain Rot effect than the length in M1. Together, the results provide significant, multi-perspective evidence that data quality is a causal driver of LLM capability decay, reframing curation for continual pretraining as a training-time safety problem and motivating routine "cognitive health checks" for deployed LLMs.