LLM도 '뇌 부패'에 걸릴 수 있다!

초록

우리는 LLM 브레인 로트 가설(LLM Brain Rot Hypothesis)을 제안하고 검증한다: 지속적인 저질 웹 텍스트 노출이 대형 언어 모델(LLMs)에 지속적인 인지 능력 저하를 유발한다는 가설이다. 데이터 품질의 인과 관계를 분리하기 위해, 실제 트위터/X 코퍼스에 대해 통제된 실험을 실행하며, M1(참여도)과 M2(의미적 품질)라는 두 가지 직교적 조작을 통해 저질 데이터셋과 역통제 데이터셋을 구성하고, 모든 조건에서 토큰 규모와 학습 작업을 일치시켰다. 통제 그룹과 달리, 4개의 LLM을 저질 데이터셋에 대해 지속적으로 사전 학습시키면 추론, 장문 맥락 이해, 안전성에서 비중이 무시할 수 없는 수준의 저하(Hedges' g>0.3)가 발생하며, "어두운 특성"(예: 사이코패스, 나르시시즘)이 증가한다. 저질과 통제 데이터셋의 점진적 혼합도 용량-반응 인지 능력 감소를 초래한다: 예를 들어, M1 하에서 ARC-Challenge with Chain Of Thoughts는 74.9에서 57.2로, RULER-CWE는 84.4에서 52.3으로 저하되며, 이는 저질 비율이 0%에서 100%로 증가함에 따른 것이다. 오류 분석은 몇 가지 중요한 통찰을 제공한다. 첫째, 사고 건너뛰기(thought-skipping)가 주요 손상 요인임을 확인했다: 모델이 점점 더 추론 체인을 생략하거나 건너뛰며, 이는 오류 증가의 대부분을 설명한다. 둘째, 부분적이지만 불완전한 회복이 관찰되었다: 지시 튜닝과 깨끗한 데이터 사전 학습을 확장하면 저하된 인지 능력이 개선되지만, 기준선 능력은 회복되지 않아, 형식 불일치보다는 지속적인 표현적 변화를 시사한다. 마지막으로, 비의미적 지표인 트윗의 인기도가 M1에서 길이보다 브레인 로트 효과를 더 잘 나타내는 지표임을 발견했다. 종합적으로, 이 결과는 데이터 품질이 LLM 능력 저하의 인과적 원인임을 다각적으로 입증하며, 지속적 사전 학습을 위한 큐레이션을 학습 시점의 안전 문제로 재조명하고, 배포된 LLM에 대한 정기적인 "인지 건강 검진"의 필요성을 제기한다.

English

We propose and test the LLM Brain Rot Hypothesis: continual exposure to junk web text induces lasting cognitive decline in large language models (LLMs). To causally isolate data quality, we run controlled experiments on real Twitter/X corpora, constructing junk and reversely controlled datasets via two orthogonal operationalizations: M1 (engagement degree) and M2 (semantic quality), with matched token scale and training operations across conditions. Contrary to the control group, continual pre-training of 4 LLMs on the junk dataset causes non-trivial declines (Hedges' g>0.3) on reasoning, long-context understanding, safety, and inflating "dark traits" (e.g., psychopathy, narcissism). The gradual mixtures of junk and control datasets also yield dose-response cognition decay: for example, under M1, ARC-Challenge with Chain Of Thoughts drops 74.9 rightarrow 57.2 and RULER-CWE 84.4 rightarrow 52.3 as junk ratio rises from 0% to 100%. Error forensics reveal several key insights. First, we identify thought-skipping as the primary lesion: models increasingly truncate or skip reasoning chains, explaining most of the error growth. Second, partial but incomplete healing is observed: scaling instruction tuning and clean data pre-training improve the declined cognition yet cannot restore baseline capability, suggesting persistent representational drift rather than format mismatch. Finally, we discover that the popularity, a non-semantic metric, of a tweet is a better indicator of the Brain Rot effect than the length in M1. Together, the results provide significant, multi-perspective evidence that data quality is a causal driver of LLM capability decay, reframing curation for continual pretraining as a training-time safety problem and motivating routine "cognitive health checks" for deployed LLMs.

LLM도 '뇌 부패'에 걸릴 수 있다!

LLMs Can Get "Brain Rot"!

초록

Support