LPZero: Taalmodel Nul-kosten Proxy Zoeken vanaf Nul

LPZero: Language Model Zero-cost Proxy Search from Zero

October 7, 2024

Auteurs: Peijie Dong, Lujun Li, Xiang Liu, Zhenheng Tang, Xuebo Liu, Qiang Wang, Xiaowen Chu

cs.AI

Samenvatting

Ondanks de uitstekende prestaties wordt Neural Architecture Search (NAS) bekritiseerd vanwege de enorme rekenkracht die het vereist. Onlangs is Zero-shot NAS naar voren gekomen als een veelbelovende benadering door gebruik te maken van Zero-cost (ZC) proxies, die aanzienlijk de computationele eisen verminderen. Ondanks dit vertrouwen bestaande ZC proxies zwaar op expertkennis en brengen aanzienlijke kosten met zich mee door trial-and-error. Vooral bij NLP-taken slagen de meeste bestaande ZC proxies er niet in om de prestaties van de naïeve baseline te overtreffen. Om deze uitdagingen aan te pakken, introduceren we een nieuw raamwerk, LPZero, dat als eerste automatisch ZC proxies ontwerpt voor verschillende taken, met een hogere consistentie in rangorde dan door mensen ontworpen proxies. Specifiek modelleren we de ZC proxy als een symbolische vergelijking en nemen we een uniforme proxy zoekruimte op die bestaande ZC proxies omvat, die zijn samengesteld uit een vooraf gedefinieerde set wiskundige symbolen. Om heuristisch te zoeken naar de beste ZC proxy, integreert LPZero genetische programmering om de optimale symbolische samenstelling te vinden. We stellen een op regels gebaseerde snoeistrategie (RPS) voor, die onbelovende proxies preventief elimineert, waardoor het risico van proxy degradatie wordt verminderd. Uitgebreide experimenten op FlexiBERT, GPT-2 en LLaMA-7B tonen de superieure rangschikkingsmogelijkheid en prestaties van LPZero op downstream taken in vergelijking met huidige benaderingen.

English

In spite of the outstanding performance, Neural Architecture Search (NAS) is criticized for massive computation. Recently, Zero-shot NAS has emerged as a promising approach by exploiting Zero-cost (ZC) proxies, which markedly reduce computational demands. Despite this, existing ZC proxies heavily rely on expert knowledge and incur significant trial-and-error costs. Particularly in NLP tasks, most existing ZC proxies fail to surpass the performance of the naive baseline. To address these challenges, we introduce a novel framework, LPZero, which is the first to automatically design ZC proxies for various tasks, achieving higher ranking consistency than human-designed proxies. Specifically, we model the ZC proxy as a symbolic equation and incorporate a unified proxy search space that encompasses existing ZC proxies, which are composed of a predefined set of mathematical symbols. To heuristically search for the best ZC proxy, LPZero incorporates genetic programming to find the optimal symbolic composition. We propose a Rule-based Pruning Strategy (RPS), which preemptively eliminates unpromising proxies, thereby mitigating the risk of proxy degradation. Extensive experiments on FlexiBERT, GPT-2, and LLaMA-7B demonstrate LPZero's superior ranking ability and performance on downstream tasks compared to current approaches.