ドラゴンの孵化：トランスフォーマーと脳モデルをつなぐミッシングリンク

The Dragon Hatchling: The Missing Link between the Transformer and Models of the Brain

September 30, 2025

著者: Adrian Kosowski, Przemysław Uznański, Jan Chorowski, Zuzanna Stamirowska, Michał Bartoszkiewicz

cs.AI

要旨

コンピューティングシステムと脳の関係は、ジョン・フォン・ノイマンやアラン・チューリング以来、先駆的な理論家たちの動機となってきた。脳のような均一でスケールフリーな生物学的ネットワークは、時間とともに一般化する強力な特性を持っており、これはユニバーサル推論モデルへの道における機械学習の主要な障壁である。 本論文では、局所的に相互作用するニューロン粒子からなるスケールフリーな生物学的インスパイアードネットワークに基づく新しい大規模言語モデルアーキテクチャ「Dragon Hatchling」（BDH）を紹介する。BDHは、Transformerのような性能を犠牲にすることなく、強力な理論的基盤と本質的な解釈可能性を兼ね備えている。 BDHは、実用的で高性能な最先端のアテンションベースの状態空間シーケンス学習アーキテクチャである。グラフモデルであることに加え、BDHはGPUに適した定式化を許容する。Transformerのようなスケーリング則を示し、同じパラメータ数（10Mから1B）で同じトレーニングデータを用いた場合、言語および翻訳タスクにおいてGPT2の性能に匹敵することを実証的に確認した。 BDHは脳モデルとして表現することができる。推論中のBDHのワーキングメモリは、スパイキングニューロンを用いたヘブ学習によるシナプス可塑性に完全に依存している。BDHが言語入力を処理する際に特定の概念を聞いたり推論したりするたびに、特定の個々のシナプスが接続を強化することを実証的に確認した。BDHのニューロン相互作用ネットワークは、重い裾を持つ次数分布を持つ高いモジュール性のグラフである。BDHモデルは生物学的に妥当であり、人間のニューロンが発話を達成するために使用する可能性のある一つのメカニズムを説明している。 BDHは解釈可能性を考慮して設計されている。BDHの活性化ベクトルはスパースで正である。言語タスクにおいてBDHの単一意味性を実証する。ニューロンやモデルパラメータの解釈可能性を超えた状態の解釈可能性は、BDHアーキテクチャの本質的な特徴である。

English

The relationship between computing systems and the brain has served as motivation for pioneering theoreticians since John von Neumann and Alan Turing. Uniform, scale-free biological networks, such as the brain, have powerful properties, including generalizing over time, which is the main barrier for Machine Learning on the path to Universal Reasoning Models. We introduce `Dragon Hatchling' (BDH), a new Large Language Model architecture based on a scale-free biologically inspired network of \n locally-interacting neuron particles. BDH couples strong theoretical foundations and inherent interpretability without sacrificing Transformer-like performance. BDH is a practical, performant state-of-the-art attention-based state space sequence learning architecture. In addition to being a graph model, BDH admits a GPU-friendly formulation. It exhibits Transformer-like scaling laws: empirically BDH rivals GPT2 performance on language and translation tasks, at the same number of parameters (10M to 1B), for the same training data. BDH can be represented as a brain model. The working memory of BDH during inference entirely relies on synaptic plasticity with Hebbian learning using spiking neurons. We confirm empirically that specific, individual synapses strengthen connection whenever BDH hears or reasons about a specific concept while processing language inputs. The neuron interaction network of BDH is a graph of high modularity with heavy-tailed degree distribution. The BDH model is biologically plausible, explaining one possible mechanism which human neurons could use to achieve speech. BDH is designed for interpretability. Activation vectors of BDH are sparse and positive. We demonstrate monosemanticity in BDH on language tasks. Interpretability of state, which goes beyond interpretability of neurons and model parameters, is an inherent feature of the BDH architecture.