KAN: Redes de Kolmogorov-Arnold

KAN: Kolmogorov-Arnold Networks

April 30, 2024

Autores: Ziming Liu, Yixuan Wang, Sachin Vaidya, Fabian Ruehle, James Halverson, Marin Soljačić, Thomas Y. Hou, Max Tegmark

cs.AI

Resumo

Inspirados pelo teorema de representação de Kolmogorov-Arnold, propomos as Redes de Kolmogorov-Arnold (KANs) como alternativas promissoras aos Perceptrons de Múltiplas Camadas (MLPs). Enquanto os MLPs possuem funções de ativação fixas nos nós ("neurônios"), as KANs têm funções de ativação aprendíveis nas arestas ("pesos"). As KANs não possuem pesos lineares — cada parâmetro de peso é substituído por uma função univariada parametrizada como uma spline. Mostramos que essa mudança aparentemente simples faz com que as KANs superem os MLPs em termos de precisão e interpretabilidade. Em relação à precisão, KANs muito menores podem alcançar precisão comparável ou superior a MLPs muito maiores em ajuste de dados e resolução de EDPs. Teórica e empiricamente, as KANs possuem leis de escalonamento neural mais rápidas do que os MLPs. Quanto à interpretabilidade, as KANs podem ser visualizadas de forma intuitiva e interagem facilmente com usuários humanos. Através de dois exemplos em matemática e física, as KANs se mostram colaboradoras úteis, ajudando cientistas a (re)descobrir leis matemáticas e físicas. Em resumo, as KANs são alternativas promissoras aos MLPs, abrindo oportunidades para melhorar ainda mais os modelos de aprendizado profundo atuais, que dependem fortemente de MLPs.

English

Inspired by the Kolmogorov-Arnold representation theorem, we propose Kolmogorov-Arnold Networks (KANs) as promising alternatives to Multi-Layer Perceptrons (MLPs). While MLPs have fixed activation functions on nodes ("neurons"), KANs have learnable activation functions on edges ("weights"). KANs have no linear weights at all -- every weight parameter is replaced by a univariate function parametrized as a spline. We show that this seemingly simple change makes KANs outperform MLPs in terms of accuracy and interpretability. For accuracy, much smaller KANs can achieve comparable or better accuracy than much larger MLPs in data fitting and PDE solving. Theoretically and empirically, KANs possess faster neural scaling laws than MLPs. For interpretability, KANs can be intuitively visualized and can easily interact with human users. Through two examples in mathematics and physics, KANs are shown to be useful collaborators helping scientists (re)discover mathematical and physical laws. In summary, KANs are promising alternatives for MLPs, opening opportunities for further improving today's deep learning models which rely heavily on MLPs.