Física de los Modelos de Lenguaje: Parte 4.1, Diseño de Arquitectura y la Magia de las Capas Canónicas

Physics of Language Models: Part 4.1, Architecture Design and the Magic of Canon Layers

December 19, 2025

Autores: Zeyuan Allen-Zhu

cs.AI

Resumen

Comprender las diferencias arquitectónicas en los modelos de lenguaje es un desafío, especialmente a escalas de preentrenamiento académico (por ejemplo, 1.3B parámetros, 100B tokens), donde los resultados suelen estar dominados por el ruido y la aleatoriedad. Para superar esto, introducimos tareas de preentrenamiento sintéticas controladas que aíslan y evalúan las capacidades fundamentales del modelo. Dentro de este marco, descubrimos las CAPAS CANÓNICAS: componentes arquitectónicos ligeros —llamados así por el término musical "canon"— que promueven el flujo horizontal de información entre tokens vecinos. Las capas canónicas calculan sumas ponderadas de las representaciones de tokens cercanos y se integran perfectamente en Transformers, atención lineal, modelos de espacio de estados o cualquier arquitectura secuencial. Presentamos 12 resultados clave. Esto incluye cómo las capas canónicas mejoran la profundidad de razonamiento (por ejemplo, al doble), la amplitud de razonamiento, la manipulación de conocimiento, etc. Permiten que arquitecturas débiles como NoPE igualen a RoPE, y que la atención lineal rivalice con modelos lineales de vanguardia como Mamba2/GDN —validado tanto mediante tareas sintéticas como mediante preentrenamiento real a escala académica. Este entorno de pruebas sintético ofrece una ruta económica y fundamentada para aislar capacidades centrales del modelo que a menudo quedan oscurecidas a escalas académicas. Equipado con datos infinitos de alta calidad, incluso podría PREDECIR cómo se comportarán las arquitecturas futuras a medida que mejoren los pipelines de entrenamiento —por ejemplo, mediante mejor curación de datos o post-entrenamiento basado en RL— desbloqueando un razonamiento más profundo e inferencia jerárquica.

English

Understanding architectural differences in language models is challenging, especially at academic-scale pretraining (e.g., 1.3B parameters, 100B tokens), where results are often dominated by noise and randomness. To overcome this, we introduce controlled synthetic pretraining tasks that isolate and evaluate core model capabilities. Within this framework, we discover CANON LAYERS: lightweight architectural components -- named after the musical term "canon" -- that promote horizontal information flow across neighboring tokens. Canon layers compute weighted sums of nearby token representations and integrate seamlessly into Transformers, linear attention, state-space models, or any sequence architecture. We present 12 key results. This includes how Canon layers enhance reasoning depth (e.g., by 2times), reasoning breadth, knowledge manipulation, etc. They lift weak architectures like NoPE to match RoPE, and linear attention to rival SOTA linear models like Mamba2/GDN -- validated both through synthetic tasks and real-world academic-scale pretraining. This synthetic playground offers an economical, principled path to isolate core model capabilities often obscured at academic scales. Equipped with infinite high-quality data, it may even PREDICT how future architectures will behave as training pipelines improve -- e.g., through better data curation or RL-based post-training -- unlocking deeper reasoning and hierarchical inference.