Wachsende Transformer: Modulare Komposition und schichtenweise Erweiterung auf einem eingefrorenen Substrat

Growing Transformers: Modular Composition and Layer-wise Expansion on a Frozen Substrate

July 8, 2025

papers.authors: A. Bochkov

cs.AI

papers.abstract

Das vorherrschende Paradigma für die Skalierung großer Sprachmodelle (LLMs) umfasst ein monolithisches, end-to-end-Training, ein ressourcenintensiver Prozess, der an Flexibilität mangelt. Dieses Papier untersucht einen alternativen, konstruktiven Ansatz zur Modellentwicklung, der auf der Grundlage nicht trainierbarer, deterministischer Eingabe-Embeddings basiert. In früheren Arbeiten [1] haben wir gezeigt, dass hochgradige semantische Schlussfolgerungen in Transformern entstehen können, wenn gefrorene Embeddings verwendet werden, die aus der visuellen Struktur von Unicode-Glyphen abgeleitet sind. Hier demonstrieren wir, dass dieses feste repräsentative Substrat als universeller „Docking-Port“ fungiert, der zwei leistungsstarke und effiziente Skalierungsparadigmen ermöglicht: nahtlose modulare Komposition und progressives schichtweises Wachstum. Zunächst zeigen wir, dass spezialisierte Modelle, die auf unterschiedlichen Datensätzen trainiert wurden (z. B. russischer und chinesischer Text), nach dem Training ohne architektonische Modifikation in ein einziges, leistungsfähigeres Mixture-of-Experts (MoE)-Modell zusammengeführt werden können. Dies wird durch einfaches Mitteln ihrer Ausgabe-Logits erreicht. Das resultierende MoE-Modell zeigt sofortige Leistungsverbesserungen bei Reasoning-Benchmarks wie MMLU und übertrifft seine konstituierenden Experten, ohne katastrophales Vergessen zu verursachen. Zweitens führen wir eine schichtweise konstruktive Trainingsmethodik ein, bei der ein tiefer Transformer durch progressives Stapeln und Trainieren einer Schicht nach der anderen „wachsen“ kann. Diese Methode zeigt eine stabile Konvergenz und eine klare Korrelation zwischen der Modelltiefe und der Entstehung komplexer Reasoning-Fähigkeiten, wie sie beispielsweise für SQuAD erforderlich sind. Unsere Ergebnisse deuten auf einen Paradigmenwechsel hin, weg von monolithischer Optimierung hin zu einem biologisch oder konstruktiv geprägten Modell der KI-Entwicklung, bei dem Komplexität schrittweise aufgebaut und Module frei zusammengesetzt werden können. Dies eröffnet neue Wege für ressourceneffiziente Skalierung, kontinuierliches Lernen und ein demokratisierteres Ökosystem für den Aufbau leistungsstarker KI-Systeme. Wir veröffentlichen den gesamten Code und die Modelle, um weitere Forschungen zu erleichtern.

English

The prevailing paradigm for scaling large language models (LLMs) involves monolithic, end-to-end training, a resource-intensive process that lacks flexibility. This paper explores an alternative, constructive approach to model development, built upon the foundation of non-trainable, deterministic input embeddings. In prior [1], we established that high-level semantic reasoning can emerge in Transformers using frozen embeddings derived from the visual structure of Unicode glyphs. Here, we demonstrate that this fixed representational substrate acts as a universal "docking port," enabling two powerful and efficient scaling paradigms: seamless modular composition and progressive layer-wise growth. First, we show that specialist models trained on disparate datasets (e.g., Russian and Chinese text) can be merged into a single, more capable Mixture-of-Experts (MoE) model, post-training, with zero architectural modification. This is achieved by simply averaging their output logits. The resulting MoE model exhibits immediate performance improvements on reasoning benchmarks like MMLU, surpassing its constituent experts without catastrophic forgetting. Second, we introduce a layer-wise constructive training methodology, where a deep Transformer is "grown" by progressively stacking and training one layer at a time. This method demonstrates stable convergence and a clear correlation between model depth and the emergence of complex reasoning abilities, such as those required for SQuAD. Our findings suggest a paradigm shift from monolithic optimization towards a more biological or constructive model of AI development, where complexity is built incrementally and modules can be composed freely. This opens new avenues for resource-efficient scaling, continual learning, and a more democratized ecosystem for building powerful AI systems. We release all code and models to facilitate further research.