LLMs können „Gehirnverfall“ erleiden!

papers.abstract

Wir stellen die LLM Brain Rot Hypothese auf und testen sie: Kontinuierliche Exposition gegenüber minderwertigen Webtexten führt zu anhaltendem kognitiven Abbau bei großen Sprachmodellen (LLMs). Um die Datenqualität kausal zu isolieren, führen wir kontrollierte Experimente mit realen Twitter/X-Korpora durch, wobei wir minderwertige und umgekehrt kontrollierte Datensätze über zwei orthogonale Operationalisierungen erstellen: M1 (Engagement-Grad) und M2 (semantische Qualität), mit abgestimmtem Token-Umfang und Trainingsoperationen über alle Bedingungen hinweg. Im Gegensatz zur Kontrollgruppe verursacht kontinuierliches Vortraining von 4 LLMs auf dem minderwertigen Datensatz nicht unerhebliche Rückgänge (Hedges' g>0.3) bei logischem Denken, Langzeitkontextverständnis, Sicherheit und der Verstärkung „dunkler Eigenschaften“ (z.B. Psychopathie, Narzissmus). Die schrittweisen Mischungen von minderwertigen und kontrollierten Datensätzen führen ebenfalls zu einer Dosis-Wirkungs-Beziehung des kognitiven Abbaus: Beispielsweise sinkt unter M1 ARC-Challenge mit Chain of Thoughts von 74,9 auf 57,2 und RULER-CWE von 84,4 auf 52,3, wenn der Anteil minderwertiger Daten von 0% auf 100% steigt. Fehleranalysen liefern mehrere wichtige Erkenntnisse. Erstens identifizieren wir das Überspringen von Gedanken als primäre Schädigung: Modelle kürzen oder überspringen zunehmend Denkketten, was den größten Teil des Fehleranstiegs erklärt. Zweitens wird eine teilweise, aber unvollständige Heilung beobachtet: Skalierung des Instruction Tunings und Vortraining mit sauberen Daten verbessern den kognitiven Abbau, können jedoch die Grundleistung nicht wiederherstellen, was auf eine anhaltende repräsentative Drift anstelle eines Formatmissverhältnisses hindeutet. Schließlich stellen wir fest, dass die Popularität, eine nicht-semantische Metrik, eines Tweets ein besserer Indikator für den Brain Rot Effekt ist als die Länge in M1. Zusammengenommen liefern die Ergebnisse signifikante, multiperspektivische Beweise dafür, dass Datenqualität ein kausaler Treiber des Fähigkeitsabbaus bei LLMs ist, was die Kuratierung für kontinuierliches Vortraining als Sicherheitsproblem während des Trainings neu definiert und routinemäßige „kognitive Gesundheitschecks“ für eingesetzte LLMs motiviert.

English

We propose and test the LLM Brain Rot Hypothesis: continual exposure to junk web text induces lasting cognitive decline in large language models (LLMs). To causally isolate data quality, we run controlled experiments on real Twitter/X corpora, constructing junk and reversely controlled datasets via two orthogonal operationalizations: M1 (engagement degree) and M2 (semantic quality), with matched token scale and training operations across conditions. Contrary to the control group, continual pre-training of 4 LLMs on the junk dataset causes non-trivial declines (Hedges' g>0.3) on reasoning, long-context understanding, safety, and inflating "dark traits" (e.g., psychopathy, narcissism). The gradual mixtures of junk and control datasets also yield dose-response cognition decay: for example, under M1, ARC-Challenge with Chain Of Thoughts drops 74.9 rightarrow 57.2 and RULER-CWE 84.4 rightarrow 52.3 as junk ratio rises from 0% to 100%. Error forensics reveal several key insights. First, we identify thought-skipping as the primary lesion: models increasingly truncate or skip reasoning chains, explaining most of the error growth. Second, partial but incomplete healing is observed: scaling instruction tuning and clean data pre-training improve the declined cognition yet cannot restore baseline capability, suggesting persistent representational drift rather than format mismatch. Finally, we discover that the popularity, a non-semantic metric, of a tweet is a better indicator of the Brain Rot effect than the length in M1. Together, the results provide significant, multi-perspective evidence that data quality is a causal driver of LLM capability decay, reframing curation for continual pretraining as a training-time safety problem and motivating routine "cognitive health checks" for deployed LLMs.

LLMs können „Gehirnverfall“ erleiden!

LLMs Can Get "Brain Rot"!

papers.abstract

Support