Boolformer: Regressione Simbolica di Funzioni Logiche con Trasformatori
Boolformer: Symbolic Regression of Logic Functions with Transformers
September 21, 2023
Autori: Stéphane d'Ascoli, Samy Bengio, Josh Susskind, Emmanuel Abbé
cs.AI
Abstract
In questo lavoro presentiamo Boolformer, la prima architettura Transformer addestrata per eseguire regressione simbolica end-to-end di funzioni booleane. In primo luogo, dimostriamo che è in grado di prevedere formule compatte per funzioni complesse non viste durante l'addestramento, quando viene fornita una tavola di verità pulita. Successivamente, ne evidenziamo la capacità di trovare espressioni approssimate quando vengono fornite osservazioni incomplete e rumorose. Valutiamo Boolformer su un ampio set di dataset di classificazione binaria del mondo reale, dimostrandone il potenziale come alternativa interpretabile ai classici metodi di machine learning. Infine, lo applichiamo al diffuso compito di modellare le dinamiche delle reti di regolazione genica. Utilizzando un recente benchmark, mostriamo che Boolformer è competitivo con gli algoritmi genetici all'avanguardia, con un'accelerazione di diversi ordini di grandezza. Il nostro codice e i modelli sono disponibili pubblicamente.
English
In this work, we introduce Boolformer, the first Transformer architecture
trained to perform end-to-end symbolic regression of Boolean functions. First,
we show that it can predict compact formulas for complex functions which were
not seen during training, when provided a clean truth table. Then, we
demonstrate its ability to find approximate expressions when provided
incomplete and noisy observations. We evaluate the Boolformer on a broad set of
real-world binary classification datasets, demonstrating its potential as an
interpretable alternative to classic machine learning methods. Finally, we
apply it to the widespread task of modelling the dynamics of gene regulatory
networks. Using a recent benchmark, we show that Boolformer is competitive with
state-of-the art genetic algorithms with a speedup of several orders of
magnitude. Our code and models are available publicly.