Дракончик: недостающее звено между трансформером и моделями мозга

Аннотация

Связь между вычислительными системами и мозгом служила источником вдохновения для пионеров теории, начиная с Джона фон Неймана и Алана Тьюринга. Универсальные, масштабно-инвариантные биологические сети, такие как мозг, обладают мощными свойствами, включая способность к обобщению во времени, что является основным барьером для машинного обучения на пути к моделям универсального мышления. Мы представляем `Dragon Hatchling` (BDH), новую архитектуру крупной языковой модели, основанную на масштабно-инвариантной биологически вдохновленной сети локально взаимодействующих нейронных частиц. BDH сочетает в себе прочные теоретические основы и врожденную интерпретируемость, не жертвуя при этом производительностью, сравнимой с трансформерами. BDH — это практичная, высокопроизводительная архитектура для обучения последовательностей на основе внимания и пространства состояний, соответствующая современным стандартам. Помимо того, что BDH является графовой моделью, она допускает формулировку, оптимизированную для работы на GPU. Она демонстрирует законы масштабирования, аналогичные трансформерам: эмпирически BDH соперничает с производительностью GPT2 на задачах языка и перевода при одинаковом количестве параметров (от 10 млн до 1 млрд) и одинаковых данных для обучения. BDH может быть представлена как модель мозга. Рабочая память BDH во время вывода полностью зависит от синаптической пластичности с использованием обучения Хебба на основе спайковых нейронов. Мы эмпирически подтверждаем, что конкретные, индивидуальные синапсы укрепляют связь всякий раз, когда BDH "слышит" или рассуждает о конкретной концепции при обработке языковых входных данных. Сеть взаимодействия нейронов BDH представляет собой граф с высокой модулярностью и тяжелым хвостом распределения степеней. Модель BDH биологически правдоподобна, объясняя один из возможных механизмов, который человеческие нейроны могут использовать для достижения речи. BH разработана с учетом интерпретируемости. Векторы активации BDH разреженные и положительные. Мы демонстрируем моносемантичность BDH на языковых задачах. Интерпретируемость состояния, которая выходит за рамки интерпретируемости нейронов и параметров модели, является врожденной особенностью архитектуры BDH.

English

The relationship between computing systems and the brain has served as motivation for pioneering theoreticians since John von Neumann and Alan Turing. Uniform, scale-free biological networks, such as the brain, have powerful properties, including generalizing over time, which is the main barrier for Machine Learning on the path to Universal Reasoning Models. We introduce `Dragon Hatchling' (BDH), a new Large Language Model architecture based on a scale-free biologically inspired network of \n locally-interacting neuron particles. BDH couples strong theoretical foundations and inherent interpretability without sacrificing Transformer-like performance. BDH is a practical, performant state-of-the-art attention-based state space sequence learning architecture. In addition to being a graph model, BDH admits a GPU-friendly formulation. It exhibits Transformer-like scaling laws: empirically BDH rivals GPT2 performance on language and translation tasks, at the same number of parameters (10M to 1B), for the same training data. BDH can be represented as a brain model. The working memory of BDH during inference entirely relies on synaptic plasticity with Hebbian learning using spiking neurons. We confirm empirically that specific, individual synapses strengthen connection whenever BDH hears or reasons about a specific concept while processing language inputs. The neuron interaction network of BDH is a graph of high modularity with heavy-tailed degree distribution. The BDH model is biologically plausible, explaining one possible mechanism which human neurons could use to achieve speech. BDH is designed for interpretability. Activation vectors of BDH are sparse and positive. We demonstrate monosemanticity in BDH on language tasks. Interpretability of state, which goes beyond interpretability of neurons and model parameters, is an inherent feature of the BDH architecture.

Дракончик: недостающее звено между трансформером и моделями мозга

The Dragon Hatchling: The Missing Link between the Transformer and Models of the Brain

Аннотация

Support