LPZero : Recherche de proxy à coût nul pour les modèles linguistiques à partir de zéro

LPZero: Language Model Zero-cost Proxy Search from Zero

October 7, 2024

Auteurs: Peijie Dong, Lujun Li, Xiang Liu, Zhenheng Tang, Xuebo Liu, Qiang Wang, Xiaowen Chu

cs.AI

Résumé

Malgré ses performances exceptionnelles, la Recherche d'Architecture Neuronale (RAN) est critiquée pour sa consommation massive de calcul. Récemment, la RAN sans entraînement préalable est apparue comme une approche prometteuse en exploitant des proxies sans coût (ZC), qui réduisent considérablement les exigences computationnelles. Malgré cela, les proxies ZC existants reposent fortement sur des connaissances d'experts et entraînent des coûts significatifs d'essais et d'erreurs. Particulièrement dans les tâches de Traitement du Langage Naturel (NLP), la plupart des proxies ZC existants ne parviennent pas à surpasser les performances de la ligne de base naïve. Pour relever ces défis, nous introduisons un nouveau cadre, LPZero, qui est le premier à concevoir automatiquement des proxies ZC pour diverses tâches, obtenant une meilleure cohérence de classement que les proxies conçus par des humains. Plus précisément, nous modélisons le proxy ZC comme une équation symbolique et incorporons un espace de recherche de proxy unifié qui englobe les proxies ZC existants, composés d'un ensemble prédéfini de symboles mathématiques. Pour rechercher de manière heuristique le meilleur proxy ZC, LPZero intègre la programmation génétique pour trouver la composition symbolique optimale. Nous proposons une Stratégie d'Élagage Basée sur des Règles (RPS), qui élimine de manière préventive les proxies peu prometteurs, atténuant ainsi le risque de dégradation des proxies. Des expériences approfondies sur FlexiBERT, GPT-2 et LLaMA-7B démontrent la capacité de classement supérieure de LPZero et ses performances sur les tâches en aval par rapport aux approches actuelles.

English

In spite of the outstanding performance, Neural Architecture Search (NAS) is criticized for massive computation. Recently, Zero-shot NAS has emerged as a promising approach by exploiting Zero-cost (ZC) proxies, which markedly reduce computational demands. Despite this, existing ZC proxies heavily rely on expert knowledge and incur significant trial-and-error costs. Particularly in NLP tasks, most existing ZC proxies fail to surpass the performance of the naive baseline. To address these challenges, we introduce a novel framework, LPZero, which is the first to automatically design ZC proxies for various tasks, achieving higher ranking consistency than human-designed proxies. Specifically, we model the ZC proxy as a symbolic equation and incorporate a unified proxy search space that encompasses existing ZC proxies, which are composed of a predefined set of mathematical symbols. To heuristically search for the best ZC proxy, LPZero incorporates genetic programming to find the optimal symbolic composition. We propose a Rule-based Pruning Strategy (RPS), which preemptively eliminates unpromising proxies, thereby mitigating the risk of proxy degradation. Extensive experiments on FlexiBERT, GPT-2, and LLaMA-7B demonstrate LPZero's superior ranking ability and performance on downstream tasks compared to current approaches.