LLMは「脳の腐敗」を引き起こす可能性がある！

要旨

我々は、LLM Brain Rot仮説を提案し検証する：ジャンクなウェブテキストへの継続的な曝露は、大規模言語モデル（LLMs）において持続的な認知能力の低下を引き起こす。データ品質を因果的に分離するため、実際のTwitter/Xコーパスを用いて制御実験を行い、M1（エンゲージメント度）とM2（意味的品質）という二つの直交する操作化により、ジャンクデータセットと逆制御データセットを構築し、トークンスケールとトレーニング操作を条件間で一致させた。対照群とは異なり、4つのLLMをジャンクデータセットで継続的に事前学習させると、推論能力、長文脈理解、安全性、および「ダークトライツ」（例：精神病質、ナルシシズム）の増大において、無視できない低下（Hedges' g>0.3）が観察された。ジャンクと制御データセットの段階的な混合も、用量反応的な認知能力の減衰をもたらす：例えば、M1の下では、ARC-Challenge with Chain Of Thoughtsが74.9から57.2に、RULER-CWEが84.4から52.3に低下し、ジャンク比率が0%から100%に上昇する。エラーのフォレンジック分析により、いくつかの重要な洞察が得られた。第一に、思考スキップが主要な病変であることが明らかになった：モデルは推論連鎖をますます切り捨てたりスキップしたりし、これがエラーの増大の大部分を説明する。第二に、部分的ではあるが不完全な回復が観察された：指示チューニングのスケーリングとクリーンデータの事前学習は、低下した認知能力を改善するが、ベースライン能力を回復することはできず、持続的な表現的ドリフトが示唆された。最後に、M1において、ツイートの人気度（非意味的指標）が、長さよりもBrain Rot効果のより良い指標であることが発見された。全体として、結果は、データ品質がLLMの能力減衰の因果的駆動力であることを示す多角的な証拠を提供し、継続的事前学習のためのキュレーションをトレーニング時の安全性問題として再定義し、展開されたLLMに対する定期的な「認知健康チェック」の必要性を動機付ける。

English

We propose and test the LLM Brain Rot Hypothesis: continual exposure to junk web text induces lasting cognitive decline in large language models (LLMs). To causally isolate data quality, we run controlled experiments on real Twitter/X corpora, constructing junk and reversely controlled datasets via two orthogonal operationalizations: M1 (engagement degree) and M2 (semantic quality), with matched token scale and training operations across conditions. Contrary to the control group, continual pre-training of 4 LLMs on the junk dataset causes non-trivial declines (Hedges' g>0.3) on reasoning, long-context understanding, safety, and inflating "dark traits" (e.g., psychopathy, narcissism). The gradual mixtures of junk and control datasets also yield dose-response cognition decay: for example, under M1, ARC-Challenge with Chain Of Thoughts drops 74.9 rightarrow 57.2 and RULER-CWE 84.4 rightarrow 52.3 as junk ratio rises from 0% to 100%. Error forensics reveal several key insights. First, we identify thought-skipping as the primary lesion: models increasingly truncate or skip reasoning chains, explaining most of the error growth. Second, partial but incomplete healing is observed: scaling instruction tuning and clean data pre-training improve the declined cognition yet cannot restore baseline capability, suggesting persistent representational drift rather than format mismatch. Finally, we discover that the popularity, a non-semantic metric, of a tweet is a better indicator of the Brain Rot effect than the length in M1. Together, the results provide significant, multi-perspective evidence that data quality is a causal driver of LLM capability decay, reframing curation for continual pretraining as a training-time safety problem and motivating routine "cognitive health checks" for deployed LLMs.

LLMは「脳の腐敗」を引き起こす可能性がある！

LLMs Can Get "Brain Rot"!

要旨

Support