De Drakenkuiken: De ontbrekende schakel tussen de Transformer en modellen van het brein

The Dragon Hatchling: The Missing Link between the Transformer and Models of the Brain

September 30, 2025

Auteurs: Adrian Kosowski, Przemysław Uznański, Jan Chorowski, Zuzanna Stamirowska, Michał Bartoszkiewicz

cs.AI

Samenvatting

De relatie tussen computersystemen en het brein heeft sinds John von Neumann en Alan Turing als motivatie gediend voor baanbrekende theoretici. Uniforme, schaalvrije biologische netwerken, zoals het brein, beschikken over krachtige eigenschappen, waaronder generalisatie over tijd, wat de belangrijkste barrière is voor Machine Learning op weg naar Universele Redeneermodellen. We introduceren `Dragon Hatchling' (BDH), een nieuwe architectuur voor Large Language Models gebaseerd op een schaalvrij, biologisch geïnspireerd netwerk van lokaal interagerende neuronale deeltjes. BDH combineert sterke theoretische fundamenten en inherente interpreteerbaarheid zonder in te leveren op Transformer-achtige prestaties. BDH is een praktische, hoogpresterende state-of-the-art architectuur voor sequentieel leren op basis van aandacht en toestandsruimte. Naast een grafisch model te zijn, biedt BDH een GPU-vriendelijke formulering. Het vertoont Transformer-achtige schaalwetten: empirisch gezien kan BDH de prestaties van GPT2 evenaren bij taal- en vertaaltaakjes, met hetzelfde aantal parameters (10M tot 1B), en met dezelfde trainingsdata. BDH kan worden weergegeven als een breinmodel. Het werkgeheugen van BDH tijdens inferentie berust volledig op synaptische plasticiteit met Hebbiaans leren via spiking neurons. We bevestigen empirisch dat specifieke, individuele synapsen de verbinding versterken wanneer BDH een specifiek concept hoort of overweegt tijdens het verwerken van taalinvoer. Het neuronale interactienetwerk van BDH is een grafiek met een hoge modulariteit en een zwaarstaartige gradenverdeling. Het BDH-model is biologisch plausibel en verklaart een mogelijk mechanisme dat menselijke neuronen zouden kunnen gebruiken om spraak te realiseren. BDH is ontworpen voor interpreteerbaarheid. Activatievectoren van BDH zijn spaarzaam en positief. We demonstreren monosemantiek in BDH bij taaltaken. Interpreteerbaarheid van de toestand, die verder gaat dan de interpreteerbaarheid van neuronen en modelparameters, is een inherent kenmerk van de BDH-architectuur.

English

The relationship between computing systems and the brain has served as motivation for pioneering theoreticians since John von Neumann and Alan Turing. Uniform, scale-free biological networks, such as the brain, have powerful properties, including generalizing over time, which is the main barrier for Machine Learning on the path to Universal Reasoning Models. We introduce `Dragon Hatchling' (BDH), a new Large Language Model architecture based on a scale-free biologically inspired network of \n locally-interacting neuron particles. BDH couples strong theoretical foundations and inherent interpretability without sacrificing Transformer-like performance. BDH is a practical, performant state-of-the-art attention-based state space sequence learning architecture. In addition to being a graph model, BDH admits a GPU-friendly formulation. It exhibits Transformer-like scaling laws: empirically BDH rivals GPT2 performance on language and translation tasks, at the same number of parameters (10M to 1B), for the same training data. BDH can be represented as a brain model. The working memory of BDH during inference entirely relies on synaptic plasticity with Hebbian learning using spiking neurons. We confirm empirically that specific, individual synapses strengthen connection whenever BDH hears or reasons about a specific concept while processing language inputs. The neuron interaction network of BDH is a graph of high modularity with heavy-tailed degree distribution. The BDH model is biologically plausible, explaining one possible mechanism which human neurons could use to achieve speech. BDH is designed for interpretability. Activation vectors of BDH are sparse and positive. We demonstrate monosemanticity in BDH on language tasks. Interpretability of state, which goes beyond interpretability of neurons and model parameters, is an inherent feature of the BDH architecture.