El Dragonet: El eslabón perdido entre el Transformer y los modelos del cerebro

The Dragon Hatchling: The Missing Link between the Transformer and Models of the Brain

September 30, 2025

Autores: Adrian Kosowski, Przemysław Uznański, Jan Chorowski, Zuzanna Stamirowska, Michał Bartoszkiewicz

cs.AI

Resumen

La relación entre los sistemas computacionales y el cerebro ha servido como motivación para teóricos pioneros desde John von Neumann y Alan Turing. Las redes biológicas uniformes y libres de escala, como el cerebro, poseen propiedades poderosas, incluyendo la capacidad de generalizar a lo largo del tiempo, lo cual representa el principal obstáculo para el Aprendizaje Automático en el camino hacia los Modelos de Razonamiento Universal. Presentamos `Dragon Hatchling' (BDH), una nueva arquitectura de Modelo de Lenguaje Grande basada en una red biológicamente inspirada y libre de escala de partículas neuronales que interactúan localmente. BDH combina fundamentos teóricos sólidos y una interpretabilidad inherente sin sacrificar el rendimiento similar al de los Transformadores. BDH es una arquitectura práctica y de alto rendimiento para el aprendizaje de secuencias basado en espacios de estado con atención, que representa el estado del arte. Además de ser un modelo de grafo, BDH admite una formulación compatible con GPU. Exhibe leyes de escalado similares a las de los Transformadores: empíricamente, BDH rivaliza con el rendimiento de GPT2 en tareas de lenguaje y traducción, con el mismo número de parámetros (de 10M a 1B) y los mismos datos de entrenamiento. BDH puede representarse como un modelo cerebral. La memoria de trabajo de BDH durante la inferencia depende completamente de la plasticidad sináptica con aprendizaje hebbiano utilizando neuronas de picos. Confirmamos empíricamente que sinapsis específicas e individuales fortalecen las conexiones cada vez que BDH escucha o razona sobre un concepto específico mientras procesa entradas de lenguaje. La red de interacción neuronal de BDH es un grafo de alta modularidad con una distribución de grados de cola pesada. El modelo BDH es biológicamente plausible, explicando un posible mecanismo que las neuronas humanas podrían utilizar para lograr el habla. BDH está diseñado para la interpretabilidad. Los vectores de activación de BDH son dispersos y positivos. Demostramos monosemanticidad en BDH en tareas de lenguaje. La interpretabilidad del estado, que va más allá de la interpretabilidad de las neuronas y los parámetros del modelo, es una característica inherente de la arquitectura BDH.

English

The relationship between computing systems and the brain has served as motivation for pioneering theoreticians since John von Neumann and Alan Turing. Uniform, scale-free biological networks, such as the brain, have powerful properties, including generalizing over time, which is the main barrier for Machine Learning on the path to Universal Reasoning Models. We introduce `Dragon Hatchling' (BDH), a new Large Language Model architecture based on a scale-free biologically inspired network of \n locally-interacting neuron particles. BDH couples strong theoretical foundations and inherent interpretability without sacrificing Transformer-like performance. BDH is a practical, performant state-of-the-art attention-based state space sequence learning architecture. In addition to being a graph model, BDH admits a GPU-friendly formulation. It exhibits Transformer-like scaling laws: empirically BDH rivals GPT2 performance on language and translation tasks, at the same number of parameters (10M to 1B), for the same training data. BDH can be represented as a brain model. The working memory of BDH during inference entirely relies on synaptic plasticity with Hebbian learning using spiking neurons. We confirm empirically that specific, individual synapses strengthen connection whenever BDH hears or reasons about a specific concept while processing language inputs. The neuron interaction network of BDH is a graph of high modularity with heavy-tailed degree distribution. The BDH model is biologically plausible, explaining one possible mechanism which human neurons could use to achieve speech. BDH is designed for interpretability. Activation vectors of BDH are sparse and positive. We demonstrate monosemanticity in BDH on language tasks. Interpretability of state, which goes beyond interpretability of neurons and model parameters, is an inherent feature of the BDH architecture.