Boolformer: Символьная регрессия логических функций с использованием трансформеров

Boolformer: Symbolic Regression of Logic Functions with Transformers

September 21, 2023

Авторы: Stéphane d'Ascoli, Samy Bengio, Josh Susskind, Emmanuel Abbé

cs.AI

Аннотация

В данной работе мы представляем Boolformer — первую архитектуру Transformer, обученную для выполнения сквозной символьной регрессии булевых функций. Сначала мы показываем, что она способна предсказывать компактные формулы для сложных функций, которые не встречались во время обучения, при наличии чистой таблицы истинности. Затем мы демонстрируем её способность находить приближённые выражения при наличии неполных и зашумлённых наблюдений. Мы оцениваем Boolformer на широком наборе реальных наборов данных для бинарной классификации, демонстрируя его потенциал в качестве интерпретируемой альтернативы классическим методам машинного обучения. Наконец, мы применяем его к широко распространённой задаче моделирования динамики генетических регуляторных сетей. Используя недавний бенчмарк, мы показываем, что Boolformer конкурентоспособен с современными генетическими алгоритмами, при этом обеспечивая ускорение на несколько порядков. Наш код и модели доступны публично.

English

In this work, we introduce Boolformer, the first Transformer architecture trained to perform end-to-end symbolic regression of Boolean functions. First, we show that it can predict compact formulas for complex functions which were not seen during training, when provided a clean truth table. Then, we demonstrate its ability to find approximate expressions when provided incomplete and noisy observations. We evaluate the Boolformer on a broad set of real-world binary classification datasets, demonstrating its potential as an interpretable alternative to classic machine learning methods. Finally, we apply it to the widespread task of modelling the dynamics of gene regulatory networks. Using a recent benchmark, we show that Boolformer is competitive with state-of-the art genetic algorithms with a speedup of several orders of magnitude. Our code and models are available publicly.