Fysica van Taalmodellen: Deel 4.1, Architectuurontwerp en de Magie van Canon-lagen
Physics of Language Models: Part 4.1, Architecture Design and the Magic of Canon Layers
December 19, 2025
Auteurs: Zeyuan Allen-Zhu
cs.AI
Samenvatting
Het begrijpen van architectuurverschillen in taalmodellen is uitdagend, vooral bij academisch-schalige voortraining (bijv. 1,3B parameters, 100B tokens), waar resultaten vaak worden gedomineerd door ruis en willekeur. Om dit te omzeilen, introduceren we gecontroleerde synthetische voortrainingstaken die kernmodelcapaciteiten isoleren en evalueren. Binnen dit raamwerk ontdekken we CANON LAYERS: lichtgewicht architectuurcomponenten – vernoemd naar de muzikale term 'canon' – die horizontale informatiestroom tussen naburige tokens bevorderen. Canon-lagen berekenen gewogen sommen van nabije tokenrepresentaties en integreren naadloos in Transformers, lineaire aandacht, toestandsruimtemodellen of elke sequentie-architectuur.
We presenteren 12 kernresultaten. Dit omvat hoe Canon-lagen redeneerdiepte (bijv. met 2x), redenereerbreedte, kennismanipulatie, etc. verbeteren. Ze tillen zwakke architecturen zoals NoPE naar het niveau van RoPE, en lineaire aandacht naar dat van SOTA lineaire modellen zoals Mamba2/GDN – gevalideerd via zowel synthetische taken als echte academisch-schalige voortraining. Deze synthetische speeltuin biedt een economisch, principieel pad om kernmodelcapaciteiten te isoleren die vaak verhuld blijven op academische schaal. Uitgerust met oneindige hoogwaardige data, kan het zelfs VOORSPELLEN hoe toekomstige architecturen zich zullen gedragen naarmate trainingspipelines verbeteren – bijv. door betere datacuratie of RL-gebaseerde natreining – wat dieper redeneren en hiërarchische inferentie ontsluit.
English
Understanding architectural differences in language models is challenging, especially at academic-scale pretraining (e.g., 1.3B parameters, 100B tokens), where results are often dominated by noise and randomness. To overcome this, we introduce controlled synthetic pretraining tasks that isolate and evaluate core model capabilities. Within this framework, we discover CANON LAYERS: lightweight architectural components -- named after the musical term "canon" -- that promote horizontal information flow across neighboring tokens. Canon layers compute weighted sums of nearby token representations and integrate seamlessly into Transformers, linear attention, state-space models, or any sequence architecture.
We present 12 key results. This includes how Canon layers enhance reasoning depth (e.g., by 2times), reasoning breadth, knowledge manipulation, etc. They lift weak architectures like NoPE to match RoPE, and linear attention to rival SOTA linear models like Mamba2/GDN -- validated both through synthetic tasks and real-world academic-scale pretraining. This synthetic playground offers an economical, principled path to isolate core model capabilities often obscured at academic scales. Equipped with infinite high-quality data, it may even PREDICT how future architectures will behave as training pipelines improve -- e.g., through better data curation or RL-based post-training -- unlocking deeper reasoning and hierarchical inference.