Boolformer: トランスフォーマーを用いた論理関数の記号的回帰

Boolformer: Symbolic Regression of Logic Functions with Transformers

September 21, 2023

著者: Stéphane d'Ascoli, Samy Bengio, Josh Susskind, Emmanuel Abbé

cs.AI

要旨

本研究では、ブール関数のエンドツーエンドの記号回帰を実行するために訓練された最初のTransformerアーキテクチャであるBoolformerを紹介します。まず、クリーンな真理値表が与えられた場合、訓練中に見られなかった複雑な関数に対してコンパクトな式を予測できることを示します。次に、不完全でノイズの多い観測値が与えられた場合に近似式を見つける能力を実証します。Boolformerを幅広い実世界の二値分類データセットで評価し、古典的な機械学習手法に対する解釈可能な代替手段としての可能性を示します。最後に、遺伝子調節ネットワークのダイナミクスをモデル化する広範なタスクに適用します。最近のベンチマークを使用して、Boolformerが最先端の遺伝的アルゴリズムと競争力があり、数桁の高速化を実現することを示します。私たちのコードとモデルは公開されています。

English

In this work, we introduce Boolformer, the first Transformer architecture trained to perform end-to-end symbolic regression of Boolean functions. First, we show that it can predict compact formulas for complex functions which were not seen during training, when provided a clean truth table. Then, we demonstrate its ability to find approximate expressions when provided incomplete and noisy observations. We evaluate the Boolformer on a broad set of real-world binary classification datasets, demonstrating its potential as an interpretable alternative to classic machine learning methods. Finally, we apply it to the widespread task of modelling the dynamics of gene regulatory networks. Using a recent benchmark, we show that Boolformer is competitive with state-of-the art genetic algorithms with a speedup of several orders of magnitude. Our code and models are available publicly.