Boolformer : Régression symbolique de fonctions logiques avec des Transformers

Boolformer: Symbolic Regression of Logic Functions with Transformers

September 21, 2023

Auteurs: Stéphane d'Ascoli, Samy Bengio, Josh Susskind, Emmanuel Abbé

cs.AI

Résumé

Dans ce travail, nous présentons Boolformer, la première architecture Transformer entraînée à effectuer une régression symbolique de bout en bout de fonctions booléennes. Tout d'abord, nous montrons qu'elle peut prédire des formules compactes pour des fonctions complexes qui n'ont pas été vues pendant l'entraînement, lorsqu'elle est fournie avec une table de vérité propre. Ensuite, nous démontrons sa capacité à trouver des expressions approximatives lorsqu'elle est confrontée à des observations incomplètes et bruitées. Nous évaluons Boolformer sur un large ensemble de jeux de données de classification binaire issus du monde réel, mettant en évidence son potentiel en tant qu'alternative interprétable aux méthodes classiques d'apprentissage automatique. Enfin, nous l'appliquons à la tâche répandue de modélisation de la dynamique des réseaux de régulation génétique. En utilisant un benchmark récent, nous montrons que Boolformer est compétitif avec les algorithmes génétiques de pointe, tout en offrant une accélération de plusieurs ordres de grandeur. Notre code et nos modèles sont disponibles publiquement.

English

In this work, we introduce Boolformer, the first Transformer architecture trained to perform end-to-end symbolic regression of Boolean functions. First, we show that it can predict compact formulas for complex functions which were not seen during training, when provided a clean truth table. Then, we demonstrate its ability to find approximate expressions when provided incomplete and noisy observations. We evaluate the Boolformer on a broad set of real-world binary classification datasets, demonstrating its potential as an interpretable alternative to classic machine learning methods. Finally, we apply it to the widespread task of modelling the dynamics of gene regulatory networks. Using a recent benchmark, we show that Boolformer is competitive with state-of-the art genetic algorithms with a speedup of several orders of magnitude. Our code and models are available publicly.