O Filhote de Dragão: O Elo Perdido entre o Transformer e os Modelos do Cérebro

Resumo

A relação entre sistemas computacionais e o cérebro tem servido como motivação para teóricos pioneiros desde John von Neumann e Alan Turing. Redes biológicas uniformes e livres de escala, como o cérebro, possuem propriedades poderosas, incluindo a capacidade de generalizar ao longo do tempo, que é o principal obstáculo para o Aprendizado de Máquina no caminho para Modelos de Raciocínio Universal. Apresentamos o `Dragon Hatchling' (BDH), uma nova arquitetura de Modelo de Linguagem de Grande Escala baseada em uma rede biologicamente inspirada e livre de escala de partículas neuronais que interagem localmente. O BDH combina fundamentos teóricos robustos e interpretabilidade inerente sem sacrificar o desempenho semelhante ao dos Transformers. O BDH é uma arquitetura prática e de alto desempenho para aprendizado de sequências baseado em espaço de estados com atenção, estado da arte. Além de ser um modelo de grafo, o BDH admite uma formulação otimizada para GPUs. Ele exibe leis de escalonamento semelhantes às dos Transformers: empiricamente, o BDH rivaliza com o desempenho do GPT2 em tarefas de linguagem e tradução, com o mesmo número de parâmetros (10M a 1B) e os mesmos dados de treinamento. O BDH pode ser representado como um modelo cerebral. A memória de trabalho do BDH durante a inferência depende inteiramente da plasticidade sináptica com aprendizado Hebbiano usando neurônios pulsantes. Confirmamos empiricamente que sinapses específicas e individuais fortalecem suas conexões sempre que o BDH ouve ou raciocina sobre um conceito específico ao processar entradas de linguagem. A rede de interação neuronal do BDH é um grafo de alta modularidade com distribuição de grau de cauda pesada. O modelo BDH é biologicamente plausível, explicando um possível mecanismo que os neurônios humanos poderiam usar para alcançar a fala. O BDH foi projetado para interpretabilidade. Os vetores de ativação do BDH são esparsos e positivos. Demonstramos a monosemanticidade do BDH em tarefas de linguagem. A interpretabilidade do estado, que vai além da interpretabilidade dos neurônios e parâmetros do modelo, é uma característica inerente da arquitetura do BDH.

English

The relationship between computing systems and the brain has served as motivation for pioneering theoreticians since John von Neumann and Alan Turing. Uniform, scale-free biological networks, such as the brain, have powerful properties, including generalizing over time, which is the main barrier for Machine Learning on the path to Universal Reasoning Models. We introduce `Dragon Hatchling' (BDH), a new Large Language Model architecture based on a scale-free biologically inspired network of \n locally-interacting neuron particles. BDH couples strong theoretical foundations and inherent interpretability without sacrificing Transformer-like performance. BDH is a practical, performant state-of-the-art attention-based state space sequence learning architecture. In addition to being a graph model, BDH admits a GPU-friendly formulation. It exhibits Transformer-like scaling laws: empirically BDH rivals GPT2 performance on language and translation tasks, at the same number of parameters (10M to 1B), for the same training data. BDH can be represented as a brain model. The working memory of BDH during inference entirely relies on synaptic plasticity with Hebbian learning using spiking neurons. We confirm empirically that specific, individual synapses strengthen connection whenever BDH hears or reasons about a specific concept while processing language inputs. The neuron interaction network of BDH is a graph of high modularity with heavy-tailed degree distribution. The BDH model is biologically plausible, explaining one possible mechanism which human neurons could use to achieve speech. BDH is designed for interpretability. Activation vectors of BDH are sparse and positive. We demonstrate monosemanticity in BDH on language tasks. Interpretability of state, which goes beyond interpretability of neurons and model parameters, is an inherent feature of the BDH architecture.

O Filhote de Dragão: O Elo Perdido entre o Transformer e os Modelos do Cérebro

The Dragon Hatchling: The Missing Link between the Transformer and Models of the Brain

Resumo

Support