MLP-KAN: Het verenigen van diepe representatie en functie leren

MLP-KAN: Unifying Deep Representation and Function Learning

October 3, 2024

Auteurs: Yunhong He, Yifeng Xie, Zhengqing Yuan, Lichao Sun

cs.AI

Samenvatting

Recente ontwikkelingen op het gebied van zowel representatie-leren als functie-leren hebben aanzienlijke belofte laten zien in diverse domeinen van kunstmatige intelligentie. Echter, de effectieve integratie van deze paradigma's vormt een aanzienlijke uitdaging, met name in gevallen waar gebruikers handmatig moeten beslissen of ze een representatie-lerend of functie-lerend model moeten toepassen op basis van datasetkenmerken. Om dit probleem aan te pakken, introduceren we MLP-KAN, een verenigde methode die is ontworpen om de noodzaak voor handmatige modelselectie te elimineren. Door Multi-Layer Perceptrons (MLP's) voor representatie-leren en Kolmogorov-Arnold Netwerken (KAN's) voor functie-leren te integreren binnen een Mixture-of-Experts (MoE) architectuur, past MLP-KAN zich dynamisch aan aan de specifieke kenmerken van de taak die wordt uitgevoerd, met als resultaat optimale prestaties. Ingesloten in een op transformer gebaseerd raamwerk, behaalt ons werk opmerkelijke resultaten op vier veelgebruikte datasets in diverse domeinen. Uitgebreide experimentele evaluatie toont de superieure veelzijdigheid ervan aan, waarbij het concurrerende prestaties levert op zowel diepe representatie- als functie-lerende taken. Deze bevindingen benadrukken het potentieel van MLP-KAN om het modelselectieproces te vereenvoudigen, met een allesomvattende, aanpasbare oplossing over verschillende domeinen. Onze code en gewichten zijn beschikbaar op https://github.com/DLYuanGod/MLP-KAN.

English

Recent advancements in both representation learning and function learning have demonstrated substantial promise across diverse domains of artificial intelligence. However, the effective integration of these paradigms poses a significant challenge, particularly in cases where users must manually decide whether to apply a representation learning or function learning model based on dataset characteristics. To address this issue, we introduce MLP-KAN, a unified method designed to eliminate the need for manual model selection. By integrating Multi-Layer Perceptrons (MLPs) for representation learning and Kolmogorov-Arnold Networks (KANs) for function learning within a Mixture-of-Experts (MoE) architecture, MLP-KAN dynamically adapts to the specific characteristics of the task at hand, ensuring optimal performance. Embedded within a transformer-based framework, our work achieves remarkable results on four widely-used datasets across diverse domains. Extensive experimental evaluation demonstrates its superior versatility, delivering competitive performance across both deep representation and function learning tasks. These findings highlight the potential of MLP-KAN to simplify the model selection process, offering a comprehensive, adaptable solution across various domains. Our code and weights are available at https://github.com/DLYuanGod/MLP-KAN.