Boolformer: Symbolische Regressie van Logische Functies met Transformers

Boolformer: Symbolic Regression of Logic Functions with Transformers

September 21, 2023

Auteurs: Stéphane d'Ascoli, Samy Bengio, Josh Susskind, Emmanuel Abbé

cs.AI

Samenvatting

In dit werk introduceren we Boolformer, de eerste Transformer-architectuur die is getraind om end-to-end symbolische regressie van Booleaanse functies uit te voeren. Eerst tonen we aan dat het compacte formules kan voorspellen voor complexe functies die niet tijdens de training zijn gezien, wanneer het een schone waarheidstabel krijgt. Vervolgens demonstreren we zijn vermogen om benaderende uitdrukkingen te vinden wanneer het onvolledige en ruisachtige observaties krijgt. We evalueren de Boolformer op een breed scala aan binaire classificatiedatasets uit de praktijk, wat zijn potentieel aantoont als een interpreteerbaar alternatief voor klassieke machine learning-methoden. Tot slot passen we het toe op de veelvoorkomende taak van het modelleren van de dynamiek van genregulerende netwerken. Met behulp van een recente benchmark laten we zien dat Boolformer concurrerend is met state-of-the-art genetische algoritmen, met een snelheidswinst van meerdere ordes van grootte. Onze code en modellen zijn openbaar beschikbaar.

English

In this work, we introduce Boolformer, the first Transformer architecture trained to perform end-to-end symbolic regression of Boolean functions. First, we show that it can predict compact formulas for complex functions which were not seen during training, when provided a clean truth table. Then, we demonstrate its ability to find approximate expressions when provided incomplete and noisy observations. We evaluate the Boolformer on a broad set of real-world binary classification datasets, demonstrating its potential as an interpretable alternative to classic machine learning methods. Finally, we apply it to the widespread task of modelling the dynamics of gene regulatory networks. Using a recent benchmark, we show that Boolformer is competitive with state-of-the art genetic algorithms with a speedup of several orders of magnitude. Our code and models are available publicly.