MLP-KAN: Unificando Representação Profunda e Aprendizado de Funções

MLP-KAN: Unifying Deep Representation and Function Learning

October 3, 2024

Autores: Yunhong He, Yifeng Xie, Zhengqing Yuan, Lichao Sun

cs.AI

Resumo

Avanços recentes tanto no aprendizado de representação quanto no aprendizado de funções têm demonstrado um grande potencial em diversos domínios da inteligência artificial. No entanto, a integração eficaz desses paradigmas representa um desafio significativo, especialmente em casos nos quais os usuários precisam decidir manualmente se devem aplicar um modelo de aprendizado de representação ou de aprendizado de funções com base nas características do conjunto de dados. Para lidar com essa questão, apresentamos o MLP-KAN, um método unificado projetado para eliminar a necessidade de seleção manual de modelos. Ao integrar Perceptrons de Múltiplas Camadas (MLPs) para aprendizado de representação e Redes Kolmogorov-Arnold (KANs) para aprendizado de funções dentro de uma arquitetura de Mistura de Especialistas (MoE), o MLP-KAN se adapta dinamicamente às características específicas da tarefa em questão, garantindo desempenho ótimo. Incorporado em um framework baseado em transformers, nosso trabalho alcança resultados notáveis em quatro conjuntos de dados amplamente utilizados em diversos domínios. Uma extensa avaliação experimental demonstra sua versatilidade superior, oferecendo desempenho competitivo em tarefas de aprendizado de representação profunda e de funções. Essas descobertas destacam o potencial do MLP-KAN para simplificar o processo de seleção de modelos, proporcionando uma solução abrangente e adaptável em vários domínios. Nosso código e pesos estão disponíveis em https://github.com/DLYuanGod/MLP-KAN.

English

Recent advancements in both representation learning and function learning have demonstrated substantial promise across diverse domains of artificial intelligence. However, the effective integration of these paradigms poses a significant challenge, particularly in cases where users must manually decide whether to apply a representation learning or function learning model based on dataset characteristics. To address this issue, we introduce MLP-KAN, a unified method designed to eliminate the need for manual model selection. By integrating Multi-Layer Perceptrons (MLPs) for representation learning and Kolmogorov-Arnold Networks (KANs) for function learning within a Mixture-of-Experts (MoE) architecture, MLP-KAN dynamically adapts to the specific characteristics of the task at hand, ensuring optimal performance. Embedded within a transformer-based framework, our work achieves remarkable results on four widely-used datasets across diverse domains. Extensive experimental evaluation demonstrates its superior versatility, delivering competitive performance across both deep representation and function learning tasks. These findings highlight the potential of MLP-KAN to simplify the model selection process, offering a comprehensive, adaptable solution across various domains. Our code and weights are available at https://github.com/DLYuanGod/MLP-KAN.