¡Los LLM pueden sufrir "deterioro cognitivo"!

LLMs Can Get "Brain Rot"!

October 15, 2025

Autores: Shuo Xing, Junyuan Hong, Yifan Wang, Runjin Chen, Zhenyu Zhang, Ananth Grama, Zhengzhong Tu, Zhangyang Wang

cs.AI

Resumen

Proponemos y probamos la Hipótesis de la Degeneración Cerebral en LLM: la exposición continua a texto basura en la web induce un deterioro cognitivo duradero en los modelos de lenguaje grandes (LLMs, por sus siglas en inglés). Para aislar causalmente la calidad de los datos, realizamos experimentos controlados con corpus reales de Twitter/X, construyendo conjuntos de datos basura y de control inverso mediante dos operacionalizaciones ortogonales: M1 (grado de interacción) y M2 (calidad semántica), con escalas de tokens y operaciones de entrenamiento equivalentes en todas las condiciones. Contrario al grupo de control, el preentrenamiento continuo de 4 LLMs con el conjunto de datos basura provoca disminuciones no triviales (g de Hedges > 0.3) en razonamiento, comprensión de contexto largo, seguridad y el aumento de "rasgos oscuros" (por ejemplo, psicopatía, narcisismo). Las mezclas graduales de conjuntos de datos basura y de control también generan un deterioro cognitivo de tipo dosis-respuesta: por ejemplo, bajo M1, ARC-Challenge con Cadena de Pensamientos cae de 74.9 a 57.2 y RULER-CWE de 84.4 a 52.3 a medida que la proporción de basura aumenta del 0% al 100%. El análisis forense de errores revela varias conclusiones clave. Primero, identificamos el "salto de pensamiento" como la principal lesión: los modelos truncan o omiten cada vez más las cadenas de razonamiento, lo que explica la mayor parte del crecimiento de errores. Segundo, se observa una curación parcial pero incompleta: el ajuste de instrucciones a escala y el preentrenamiento con datos limpios mejoran la cognición deteriorada, pero no pueden restaurar la capacidad inicial, lo que sugiere una deriva representacional persistente en lugar de un desajuste de formato. Finalmente, descubrimos que la popularidad, una métrica no semántica, de un tuit es un mejor indicador del efecto de Degeneración Cerebral que la longitud en M1. En conjunto, los resultados proporcionan evidencia significativa y multiperspectiva de que la calidad de los datos es un impulsor causal del deterioro de la capacidad de los LLMs, replanteando la curación para el preentrenamiento continuo como un problema de seguridad durante el entrenamiento y motivando "chequeos de salud cognitiva" rutinarios para los LLMs implementados.

English

We propose and test the LLM Brain Rot Hypothesis: continual exposure to junk web text induces lasting cognitive decline in large language models (LLMs). To causally isolate data quality, we run controlled experiments on real Twitter/X corpora, constructing junk and reversely controlled datasets via two orthogonal operationalizations: M1 (engagement degree) and M2 (semantic quality), with matched token scale and training operations across conditions. Contrary to the control group, continual pre-training of 4 LLMs on the junk dataset causes non-trivial declines (Hedges' g>0.3) on reasoning, long-context understanding, safety, and inflating "dark traits" (e.g., psychopathy, narcissism). The gradual mixtures of junk and control datasets also yield dose-response cognition decay: for example, under M1, ARC-Challenge with Chain Of Thoughts drops 74.9 rightarrow 57.2 and RULER-CWE 84.4 rightarrow 52.3 as junk ratio rises from 0% to 100%. Error forensics reveal several key insights. First, we identify thought-skipping as the primary lesion: models increasingly truncate or skip reasoning chains, explaining most of the error growth. Second, partial but incomplete healing is observed: scaling instruction tuning and clean data pre-training improve the declined cognition yet cannot restore baseline capability, suggesting persistent representational drift rather than format mismatch. Finally, we discover that the popularity, a non-semantic metric, of a tweet is a better indicator of the Brain Rot effect than the length in M1. Together, the results provide significant, multi-perspective evidence that data quality is a causal driver of LLM capability decay, reframing curation for continual pretraining as a training-time safety problem and motivating routine "cognitive health checks" for deployed LLMs.