Física dos Modelos de Linguagem: Parte 4.1, Design de Arquitetura e a Magia das Camadas Canônicas
Physics of Language Models: Part 4.1, Architecture Design and the Magic of Canon Layers
December 19, 2025
Autores: Zeyuan Allen-Zhu
cs.AI
Resumo
Compreender as diferenças arquiteturais em modelos de linguagem é um desafio, especialmente no pré-treinamento em escala acadêmica (por exemplo, 1,3B de parâmetros, 100B de tokens), onde os resultados são frequentemente dominados por ruído e aleatoriedade. Para superar isso, introduzimos tarefas sintéticas controladas de pré-treinamento que isolam e avaliam as capacidades centrais do modelo. Dentro deste quadro, descobrimos as **CANON LAYERS** (Camadas Cânone): componentes arquiteturais leves — nomeados em referência ao termo musical "cânone" — que promovem o fluxo horizontal de informação entre tokens vizinhos. As camadas cânone calculam somas ponderadas das representações de tokens próximos e integram-se perfeitamente em Transformers, atenção linear, modelos de espaço de estados ou qualquer arquitetura sequencial.
Apresentamos 12 resultados-chave. Isso inclui como as camadas cânone aprimoram a profundidade do raciocínio (por exemplo, em 2x), a amplitude do raciocínio, a manipulação de conhecimento, etc. Elas elevam arquiteturas fracas, como NoPE, para equiparar-se ao RoPE, e a atenção linear para rivalizar com modelos lineares de última geração, como Mamba2/GDN — validação realizada tanto por meio de tarefas sintéticas quanto de pré-treinamento real em escala acadêmica. Este ambiente sintético oferece um caminho econômico e fundamentado para isolar capacidades centrais do modelo, frequentemente obscurecidas em escalas acadêmicas. Equipado com dados infinitos e de alta qualidade, ele pode até mesmo **PREVER** como futuras arquiteturas se comportarão à medida que os *pipelines* de treinamento melhorarem — por exemplo, por meio de melhor curadoria de dados ou pós-treinamento baseado em RL — desbloqueando raciocínio mais profundo e inferência hierárquica.
English
Understanding architectural differences in language models is challenging, especially at academic-scale pretraining (e.g., 1.3B parameters, 100B tokens), where results are often dominated by noise and randomness. To overcome this, we introduce controlled synthetic pretraining tasks that isolate and evaluate core model capabilities. Within this framework, we discover CANON LAYERS: lightweight architectural components -- named after the musical term "canon" -- that promote horizontal information flow across neighboring tokens. Canon layers compute weighted sums of nearby token representations and integrate seamlessly into Transformers, linear attention, state-space models, or any sequence architecture.
We present 12 key results. This includes how Canon layers enhance reasoning depth (e.g., by 2times), reasoning breadth, knowledge manipulation, etc. They lift weak architectures like NoPE to match RoPE, and linear attention to rival SOTA linear models like Mamba2/GDN -- validated both through synthetic tasks and real-world academic-scale pretraining. This synthetic playground offers an economical, principled path to isolate core model capabilities often obscured at academic scales. Equipped with infinite high-quality data, it may even PREDICT how future architectures will behave as training pipelines improve -- e.g., through better data curation or RL-based post-training -- unlocking deeper reasoning and hierarchical inference.