LPZero: Sprachmodell Nullkosten-Proxy-Suche von Null

LPZero: Language Model Zero-cost Proxy Search from Zero

October 7, 2024

Autoren: Peijie Dong, Lujun Li, Xiang Liu, Zhenheng Tang, Xuebo Liu, Qiang Wang, Xiaowen Chu

cs.AI

Zusammenfassung

Trotz der herausragenden Leistung wird die Neural Architecture Search (NAS) für ihre massive Rechenleistung kritisiert. Kürzlich hat sich die Zero-shot NAS als vielversprechender Ansatz herausgestellt, indem sie Zero-cost (ZC) Proxies nutzt, die den Rechenbedarf erheblich reduzieren. Trotzdem basieren bestehende ZC Proxies stark auf Expertenwissen und verursachen erhebliche Versuchs- und Irrtumskosten. Insbesondere bei NLP-Aufgaben können die meisten bestehenden ZC Proxies die Leistung des naiven Baseline nicht übertreffen. Um diese Herausforderungen anzugehen, stellen wir ein neuartiges Framework, LPZero, vor, das als erstes automatisch ZC Proxies für verschiedene Aufgaben entwirft und eine höhere Rangkonsistenz als von Menschen entworfene Proxies erreicht. Speziell modellieren wir den ZC Proxy als eine symbolische Gleichung und integrieren einen vereinheitlichten Proxy-Suchraum, der bestehende ZC Proxies umfasst, die aus einem vordefinierten Satz mathematischer Symbole bestehen. Um heuristisch nach dem besten ZC Proxy zu suchen, verwendet LPZero genetische Programmierung, um die optimale symbolische Zusammensetzung zu finden. Wir schlagen eine regelbasierte Beschneidungsstrategie (RPS) vor, die vielversprechende Proxies vorzeitig eliminiert und so das Risiko einer Proxy-Verschlechterung mindert. Umfangreiche Experimente mit FlexiBERT, GPT-2 und LLaMA-7B zeigen die überlegene Rangfähigkeit und Leistung von LPZero bei nachgelagerten Aufgaben im Vergleich zu aktuellen Ansätzen.

English

In spite of the outstanding performance, Neural Architecture Search (NAS) is criticized for massive computation. Recently, Zero-shot NAS has emerged as a promising approach by exploiting Zero-cost (ZC) proxies, which markedly reduce computational demands. Despite this, existing ZC proxies heavily rely on expert knowledge and incur significant trial-and-error costs. Particularly in NLP tasks, most existing ZC proxies fail to surpass the performance of the naive baseline. To address these challenges, we introduce a novel framework, LPZero, which is the first to automatically design ZC proxies for various tasks, achieving higher ranking consistency than human-designed proxies. Specifically, we model the ZC proxy as a symbolic equation and incorporate a unified proxy search space that encompasses existing ZC proxies, which are composed of a predefined set of mathematical symbols. To heuristically search for the best ZC proxy, LPZero incorporates genetic programming to find the optimal symbolic composition. We propose a Rule-based Pruning Strategy (RPS), which preemptively eliminates unpromising proxies, thereby mitigating the risk of proxy degradation. Extensive experiments on FlexiBERT, GPT-2, and LLaMA-7B demonstrate LPZero's superior ranking ability and performance on downstream tasks compared to current approaches.