Der Drachennachwuchs: Das fehlende Bindeglied zwischen dem Transformer und Modellen des Gehirns

The Dragon Hatchling: The Missing Link between the Transformer and Models of the Brain

September 30, 2025

papers.authors: Adrian Kosowski, Przemysław Uznański, Jan Chorowski, Zuzanna Stamirowska, Michał Bartoszkiewicz

cs.AI

papers.abstract

Die Beziehung zwischen Computersystemen und dem Gehirn dient seit John von Neumann und Alan Turing als Motivation für wegweisende Theoretiker. Gleichmäßige, skalierungsfreie biologische Netzwerke, wie das Gehirn, besitzen mächtige Eigenschaften, einschließlich der Fähigkeit zur Generalisierung über die Zeit, was die Hauptbarriere für maschinelles Lernen auf dem Weg zu universellen Denkmodellen darstellt. Wir stellen `Dragon Hatchling' (BDH) vor, eine neue Large Language Model-Architektur, die auf einem skalierungsfreien, biologisch inspirierten Netzwerk lokal interagierender Neuronpartikel basiert. BDH kombiniert starke theoretische Grundlagen und inhärente Interpretierbarkeit, ohne dabei die Leistungsfähigkeit von Transformer-Modellen zu opfern. BDH ist eine praktische, leistungsstarke und state-of-the-art Architektur für sequenzielles Lernen auf Basis von Aufmerksamkeitsmechanismen und Zustandsräumen. Zusätzlich zu seiner Eigenschaft als Graphmodell bietet BDH eine GPU-freundliche Formulierung. Es zeigt Transformer-ähnliche Skalierungsgesetze: empirisch erreicht BDH eine vergleichbare Leistung wie GPT2 bei Sprach- und Übersetzungsaufgaben bei gleicher Anzahl von Parametern (10M bis 1B) und gleichen Trainingsdaten. BDH kann als Gehirnmodell dargestellt werden. Das Arbeitsgedächtnis von BDH während der Inferenz beruht vollständig auf synaptischer Plastizität mit Hebb’schem Lernen unter Verwendung von spikenden Neuronen. Wir bestätigen empirisch, dass sich spezifische, individuelle Synapsen verstärken, wenn BDH ein bestimmtes Konzept hört oder darüber nachdenkt, während es Spracheingaben verarbeitet. Das Neuron-Interaktionsnetzwerk von BDH ist ein Graph mit hoher Modularität und einer schweren Gradverteilung. Das BDH-Modell ist biologisch plausibel und erklärt einen möglichen Mechanismus, den menschliche Neuronen nutzen könnten, um Sprache zu erzeugen. BDH ist auf Interpretierbarkeit ausgelegt. Aktivierungsvektoren von BDH sind spärlich und positiv. Wir demonstrieren Monosemantik in BDH bei Sprachaufgaben. Die Interpretierbarkeit des Zustands, die über die Interpretierbarkeit von Neuronen und Modellparametern hinausgeht, ist ein inhärentes Merkmal der BDH-Architektur.

English

The relationship between computing systems and the brain has served as motivation for pioneering theoreticians since John von Neumann and Alan Turing. Uniform, scale-free biological networks, such as the brain, have powerful properties, including generalizing over time, which is the main barrier for Machine Learning on the path to Universal Reasoning Models. We introduce `Dragon Hatchling' (BDH), a new Large Language Model architecture based on a scale-free biologically inspired network of \n locally-interacting neuron particles. BDH couples strong theoretical foundations and inherent interpretability without sacrificing Transformer-like performance. BDH is a practical, performant state-of-the-art attention-based state space sequence learning architecture. In addition to being a graph model, BDH admits a GPU-friendly formulation. It exhibits Transformer-like scaling laws: empirically BDH rivals GPT2 performance on language and translation tasks, at the same number of parameters (10M to 1B), for the same training data. BDH can be represented as a brain model. The working memory of BDH during inference entirely relies on synaptic plasticity with Hebbian learning using spiking neurons. We confirm empirically that specific, individual synapses strengthen connection whenever BDH hears or reasons about a specific concept while processing language inputs. The neuron interaction network of BDH is a graph of high modularity with heavy-tailed degree distribution. The BDH model is biologically plausible, explaining one possible mechanism which human neurons could use to achieve speech. BDH is designed for interpretability. Activation vectors of BDH are sparse and positive. We demonstrate monosemanticity in BDH on language tasks. Interpretability of state, which goes beyond interpretability of neurons and model parameters, is an inherent feature of the BDH architecture.