드래곤 해츨링: 트랜스포머와 뇌 모델 간의 잃어버린 연결고리

초록

컴퓨팅 시스템과 뇌 간의 관계는 존 폰 노이만과 앨런 튜링 이후로 선구적인 이론가들에게 동기 부여의 원천이 되어왔다. 뇌와 같은 균일하고 스케일 프리(scale-free)한 생물학적 네트워크는 시간에 걸쳐 일반화하는 강력한 특성을 지니고 있으며, 이는 기계 학습이 보편적 추론 모델(Universal Reasoning Models)로 나아가는 데 있어 주요 장벽으로 작용한다. 우리는 `Dragon Hatchling'(BDH)이라는 새로운 대규모 언어 모델(Large Language Model) 아키텍처를 소개한다. BDH는 스케일 프리 생물학적 네트워크를 기반으로 하며, 지역적으로 상호작용하는 뉴런 입자들로 구성된다. BDH는 강력한 이론적 기반과 내재적 해석 가능성을 결합하면서도 트랜스포머(Transformer)와 유사한 성능을 유지한다. BDH는 실용적이고 최신 기술 수준의(state-of-the-art) 어텐션 기반 상태 공간 시퀀스 학습 아키텍처이다. 그래프 모델일 뿐만 아니라, BDH는 GPU 친화적인 형태로 구현될 수 있다. BDH는 트랜스포머와 유사한 스케일링 법칙을 보여주며, 실험적으로 동일한 파라미터 수(10M에서 1B)와 동일한 학습 데이터를 사용할 때 GPT2와 비슷한 언어 및 번역 작업 성능을 보인다. BDH는 뇌 모델로 표현될 수 있다. BDH의 추론 과정에서의 작업 메모리는 스파이크 뉴런을 사용한 헤비안 학습(Hebbian learning)을 통한 시냅스 가소성에 전적으로 의존한다. 우리는 BDH가 언어 입력을 처리하면서 특정 개념을 듣거나 추론할 때마다 특정 개별 시냅스가 연결을 강화한다는 것을 실험적으로 확인했다. BDH의 뉴런 상호작용 네트워크는 높은 모듈성과 두꺼운 꼬리(heavy-tailed) 분포를 가진 그래프이다. BDH 모델은 생물학적으로 타당하며, 인간 뉴런이 언어를 달성하기 위해 사용할 수 있는 한 가지 가능한 메커니즘을 설명한다. BDH는 해석 가능성을 위해 설계되었다. BDH의 활성화 벡터는 희소하고 양수이다. 우리는 BDH가 언어 작업에서 단일 의미성(monosemanticity)을 보임을 입증했다. 뉴런과 모델 파라미터의 해석 가능성을 넘어서는 상태의 해석 가능성은 BDH 아키텍처의 내재적 특성이다.

English

The relationship between computing systems and the brain has served as motivation for pioneering theoreticians since John von Neumann and Alan Turing. Uniform, scale-free biological networks, such as the brain, have powerful properties, including generalizing over time, which is the main barrier for Machine Learning on the path to Universal Reasoning Models. We introduce `Dragon Hatchling' (BDH), a new Large Language Model architecture based on a scale-free biologically inspired network of \n locally-interacting neuron particles. BDH couples strong theoretical foundations and inherent interpretability without sacrificing Transformer-like performance. BDH is a practical, performant state-of-the-art attention-based state space sequence learning architecture. In addition to being a graph model, BDH admits a GPU-friendly formulation. It exhibits Transformer-like scaling laws: empirically BDH rivals GPT2 performance on language and translation tasks, at the same number of parameters (10M to 1B), for the same training data. BDH can be represented as a brain model. The working memory of BDH during inference entirely relies on synaptic plasticity with Hebbian learning using spiking neurons. We confirm empirically that specific, individual synapses strengthen connection whenever BDH hears or reasons about a specific concept while processing language inputs. The neuron interaction network of BDH is a graph of high modularity with heavy-tailed degree distribution. The BDH model is biologically plausible, explaining one possible mechanism which human neurons could use to achieve speech. BDH is designed for interpretability. Activation vectors of BDH are sparse and positive. We demonstrate monosemanticity in BDH on language tasks. Interpretability of state, which goes beyond interpretability of neurons and model parameters, is an inherent feature of the BDH architecture.

드래곤 해츨링: 트랜스포머와 뇌 모델 간의 잃어버린 연결고리

The Dragon Hatchling: The Missing Link between the Transformer and Models of the Brain

초록

Support