Il Cucciolo di Drago: L'Anello Mancante tra il Transformer e i Modelli del Cervello

The Dragon Hatchling: The Missing Link between the Transformer and Models of the Brain

September 30, 2025

Autori: Adrian Kosowski, Przemysław Uznański, Jan Chorowski, Zuzanna Stamirowska, Michał Bartoszkiewicz

cs.AI

Abstract

La relazione tra i sistemi computazionali e il cervello ha rappresentato una motivazione per i teorici pionieri fin dai tempi di John von Neumann e Alan Turing. Le reti biologiche uniformi e senza scala, come il cervello, possiedono proprietà potenti, tra cui la capacità di generalizzare nel tempo, che rappresenta il principale ostacolo per l'apprendimento automatico nel percorso verso modelli di ragionamento universale. Introduciamo `Dragon Hatchling' (BDH), una nuova architettura di Large Language Model basata su una rete biologicamente ispirata e senza scala di particelle neuronali che interagiscono localmente. BDH combina solide fondamenta teoriche e un'intrinseca interpretabilità senza sacrificare prestazioni simili a quelle dei Transformer. BDH è un'architettura pratica e performante all'avanguardia per l'apprendimento sequenziale basato su stati e attenzione. Oltre ad essere un modello a grafo, BDH ammette una formulazione ottimizzata per GPU. Mostra leggi di scala simili ai Transformer: empiricamente, BDH rivaleggia con le prestazioni di GPT2 in compiti linguistici e di traduzione, con lo stesso numero di parametri (da 10M a 1B) e gli stessi dati di addestramento. BDH può essere rappresentato come un modello cerebrale. La memoria di lavoro di BDH durante l'inferenza si basa interamente sulla plasticità sinaptica con apprendimento Hebbiano utilizzando neuroni a spiking. Confermiamo empiricamente che specifiche sinapsi individuali rafforzano le connessioni ogni volta che BDH ascolta o ragiona su un concetto specifico durante l'elaborazione degli input linguistici. La rete di interazione neuronale di BDH è un grafo ad alta modularità con una distribuzione dei gradi a coda pesante. Il modello BDH è biologicamente plausibile, spiegando un possibile meccanismo che i neuroni umani potrebbero utilizzare per produrre il linguaggio. BDH è progettato per l'interpretabilità. I vettori di attivazione di BDH sono sparsi e positivi. Dimostriamo la monosemanticità di BDH in compiti linguistici. L'interpretabilità dello stato, che va oltre l'interpretabilità dei neuroni e dei parametri del modello, è una caratteristica intrinseca dell'architettura BDH.

English

The relationship between computing systems and the brain has served as motivation for pioneering theoreticians since John von Neumann and Alan Turing. Uniform, scale-free biological networks, such as the brain, have powerful properties, including generalizing over time, which is the main barrier for Machine Learning on the path to Universal Reasoning Models. We introduce `Dragon Hatchling' (BDH), a new Large Language Model architecture based on a scale-free biologically inspired network of \n locally-interacting neuron particles. BDH couples strong theoretical foundations and inherent interpretability without sacrificing Transformer-like performance. BDH is a practical, performant state-of-the-art attention-based state space sequence learning architecture. In addition to being a graph model, BDH admits a GPU-friendly formulation. It exhibits Transformer-like scaling laws: empirically BDH rivals GPT2 performance on language and translation tasks, at the same number of parameters (10M to 1B), for the same training data. BDH can be represented as a brain model. The working memory of BDH during inference entirely relies on synaptic plasticity with Hebbian learning using spiking neurons. We confirm empirically that specific, individual synapses strengthen connection whenever BDH hears or reasons about a specific concept while processing language inputs. The neuron interaction network of BDH is a graph of high modularity with heavy-tailed degree distribution. The BDH model is biologically plausible, explaining one possible mechanism which human neurons could use to achieve speech. BDH is designed for interpretability. Activation vectors of BDH are sparse and positive. We demonstrate monosemanticity in BDH on language tasks. Interpretability of state, which goes beyond interpretability of neurons and model parameters, is an inherent feature of the BDH architecture.