Boolformer: Symbolische Regression von Logikfunktionen mit Transformern

Boolformer: Symbolic Regression of Logic Functions with Transformers

September 21, 2023

Autoren: Stéphane d'Ascoli, Samy Bengio, Josh Susskind, Emmanuel Abbé

cs.AI

Zusammenfassung

In dieser Arbeit stellen wir Boolformer vor, die erste Transformer-Architektur, die darauf trainiert wurde, eine end-to-end symbolische Regression von Booleschen Funktionen durchzuführen. Zunächst zeigen wir, dass sie kompakte Formeln für komplexe Funktionen vorhersagen kann, die während des Trainings nicht gesehen wurden, wenn eine saubere Wahrheitstabelle bereitgestellt wird. Dann demonstrieren wir ihre Fähigkeit, approximative Ausdrücke zu finden, wenn unvollständige und verrauschte Beobachtungen vorliegen. Wir evaluieren den Boolformer anhand einer breiten Palette von realen binären Klassifikationsdatensätzen und zeigen sein Potenzial als interpretierbare Alternative zu klassischen maschinellen Lernmethoden. Schließlich wenden wir ihn auf die weit verbreitete Aufgabe der Modellierung der Dynamik von Genregulationsnetzwerken an. Mit einem aktuellen Benchmark zeigen wir, dass Boolformer mit state-of-the-art genetischen Algorithmen konkurrieren kann und dabei eine Beschleunigung um mehrere Größenordnungen erreicht. Unser Code und unsere Modelle sind öffentlich verfügbar.

English

In this work, we introduce Boolformer, the first Transformer architecture trained to perform end-to-end symbolic regression of Boolean functions. First, we show that it can predict compact formulas for complex functions which were not seen during training, when provided a clean truth table. Then, we demonstrate its ability to find approximate expressions when provided incomplete and noisy observations. We evaluate the Boolformer on a broad set of real-world binary classification datasets, demonstrating its potential as an interpretable alternative to classic machine learning methods. Finally, we apply it to the widespread task of modelling the dynamics of gene regulatory networks. Using a recent benchmark, we show that Boolformer is competitive with state-of-the art genetic algorithms with a speedup of several orders of magnitude. Our code and models are available publicly.