Boolformer: Regresión Simbólica de Funciones Lógicas con Transformers
Boolformer: Symbolic Regression of Logic Functions with Transformers
September 21, 2023
Autores: Stéphane d'Ascoli, Samy Bengio, Josh Susskind, Emmanuel Abbé
cs.AI
Resumen
En este trabajo, presentamos Boolformer, la primera arquitectura Transformer entrenada para realizar regresión simbólica de extremo a extremo de funciones booleanas. Primero, demostramos que puede predecir fórmulas compactas para funciones complejas que no se vieron durante el entrenamiento, cuando se le proporciona una tabla de verdad limpia. Luego, mostramos su capacidad para encontrar expresiones aproximadas cuando se le proporcionan observaciones incompletas y ruidosas. Evaluamos Boolformer en un amplio conjunto de conjuntos de datos de clasificación binaria del mundo real, demostrando su potencial como una alternativa interpretable a los métodos clásicos de aprendizaje automático. Finalmente, lo aplicamos a la tarea generalizada de modelar la dinámica de las redes de regulación génica. Utilizando un punto de referencia reciente, mostramos que Boolformer es competitivo con los algoritmos genéticos de última generación, con una aceleración de varios órdenes de magnitud. Nuestro código y modelos están disponibles públicamente.
English
In this work, we introduce Boolformer, the first Transformer architecture
trained to perform end-to-end symbolic regression of Boolean functions. First,
we show that it can predict compact formulas for complex functions which were
not seen during training, when provided a clean truth table. Then, we
demonstrate its ability to find approximate expressions when provided
incomplete and noisy observations. We evaluate the Boolformer on a broad set of
real-world binary classification datasets, demonstrating its potential as an
interpretable alternative to classic machine learning methods. Finally, we
apply it to the widespread task of modelling the dynamics of gene regulatory
networks. Using a recent benchmark, we show that Boolformer is competitive with
state-of-the art genetic algorithms with a speedup of several orders of
magnitude. Our code and models are available publicly.