Boolformer: Regressão Simbólica de Funções Lógicas com Transformers

Boolformer: Symbolic Regression of Logic Functions with Transformers

September 21, 2023

Autores: Stéphane d'Ascoli, Samy Bengio, Josh Susskind, Emmanuel Abbé

cs.AI

Resumo

Neste trabalho, apresentamos o Boolformer, a primeira arquitetura Transformer treinada para realizar regressão simbólica de funções booleanas de ponta a ponta. Primeiro, mostramos que ele pode prever fórmulas compactas para funções complexas que não foram vistas durante o treinamento, quando fornecido uma tabela verdade limpa. Em seguida, demonstramos sua capacidade de encontrar expressões aproximadas quando fornecido observações incompletas e ruidosas. Avaliamos o Boolformer em um amplo conjunto de conjuntos de dados de classificação binária do mundo real, demonstrando seu potencial como uma alternativa interpretável aos métodos clássicos de aprendizado de máquina. Por fim, aplicamos essa abordagem à tarefa amplamente difundida de modelar a dinâmica de redes de regulação gênica. Utilizando um benchmark recente, mostramos que o Boolformer é competitivo com algoritmos genéticos de última geração, com uma aceleração de várias ordens de magnitude. Nosso código e modelos estão disponíveis publicamente.

English

In this work, we introduce Boolformer, the first Transformer architecture trained to perform end-to-end symbolic regression of Boolean functions. First, we show that it can predict compact formulas for complex functions which were not seen during training, when provided a clean truth table. Then, we demonstrate its ability to find approximate expressions when provided incomplete and noisy observations. We evaluate the Boolformer on a broad set of real-world binary classification datasets, demonstrating its potential as an interpretable alternative to classic machine learning methods. Finally, we apply it to the widespread task of modelling the dynamics of gene regulatory networks. Using a recent benchmark, we show that Boolformer is competitive with state-of-the art genetic algorithms with a speedup of several orders of magnitude. Our code and models are available publicly.