Boolformer: 트랜스포머를 활용한 논리 함수의 기호 회귀

초록

본 연구에서는 부울 함수의 종단 간 기호 회귀(symbolic regression)를 수행하도록 학습된 최초의 트랜스포머(Transformer) 아키텍처인 Boolformer를 소개한다. 먼저, Boolformer가 학습 과정에서 보지 못한 복잡한 함수에 대해 깔끔한 진리표(truth table)가 제공될 때 간결한 공식을 예측할 수 있음을 보여준다. 다음으로, 불완전하고 노이즈가 있는 관측 데이터가 제공될 때 근사적인 표현식을 찾는 능력을 입증한다. 우리는 Boolformer를 다양한 실제 이진 분류 데이터셋에 대해 평가하며, 이를 통해 기존의 기계 학습 방법에 대한 해석 가능한 대안으로서의 잠재력을 확인한다. 마지막으로, Boolformer를 유전자 조절 네트워크의 동역학 모델링이라는 광범위한 과제에 적용한다. 최근 벤치마크를 사용하여 Boolformer가 최첨단 유전 알고리즘과 경쟁력을 가지면서도 수 배 빠른 속도를 보임을 입증한다. 우리의 코드와 모델은 공개적으로 이용 가능하다.

English

In this work, we introduce Boolformer, the first Transformer architecture trained to perform end-to-end symbolic regression of Boolean functions. First, we show that it can predict compact formulas for complex functions which were not seen during training, when provided a clean truth table. Then, we demonstrate its ability to find approximate expressions when provided incomplete and noisy observations. We evaluate the Boolformer on a broad set of real-world binary classification datasets, demonstrating its potential as an interpretable alternative to classic machine learning methods. Finally, we apply it to the widespread task of modelling the dynamics of gene regulatory networks. Using a recent benchmark, we show that Boolformer is competitive with state-of-the art genetic algorithms with a speedup of several orders of magnitude. Our code and models are available publicly.

Boolformer: 트랜스포머를 활용한 논리 함수의 기호 회귀

Boolformer: Symbolic Regression of Logic Functions with Transformers

초록

Support