LPZero: ゼロからのゼロコストプロキシ検索言語モデル

LPZero: Language Model Zero-cost Proxy Search from Zero

October 7, 2024

著者: Peijie Dong, Lujun Li, Xiang Liu, Zhenheng Tang, Xuebo Liu, Qiang Wang, Xiaowen Chu

cs.AI

要旨

優れた性能にもかかわらず、ニューラルアーキテクチャサーチ（NAS）は計算量が膨大であると批判されています。最近、ゼロショットNASが登場し、ゼロコスト（ZC）プロキシを活用することで計算要件を著しく削減する有望なアプローチとなっています。しかしながら、既存のZCプロキシは専門家の知識に大きく依存し、大きな試行錯誤コストがかかります。特に自然言語処理（NLP）のタスクでは、ほとんどの既存のZCプロキシが素朴なベースラインの性能を上回ることができません。これらの課題に対処するために、我々はLPZeroという新しいフレームワークを導入します。これは、さまざまなタスクのために自動的にZCプロキシを設計する初めての手法であり、人間が設計したプロキシよりも高いランキングの一貫性を実現しています。具体的には、ZCプロキシを象徴的な方程式としてモデル化し、既存のZCプロキシを含む統一されたプロキシ検索空間を組み込んでいます。これらは、あらかじめ定義された数学記号のセットで構成されています。最適なZCプロキシを探索するために、LPZeroは遺伝プログラミングを組み込んで最適な象徴的な構成を見つけます。我々は、プロキシの劣化のリスクを軽減するために、ルールベースの剪定戦略（RPS）を提案しています。FlexiBERT、GPT-2、LLaMA-7Bに関する幅広い実験は、LPZeroの優れたランキング能力と現行手法と比較してダウンストリームタスクでのパフォーマンスを示しています。

English

In spite of the outstanding performance, Neural Architecture Search (NAS) is criticized for massive computation. Recently, Zero-shot NAS has emerged as a promising approach by exploiting Zero-cost (ZC) proxies, which markedly reduce computational demands. Despite this, existing ZC proxies heavily rely on expert knowledge and incur significant trial-and-error costs. Particularly in NLP tasks, most existing ZC proxies fail to surpass the performance of the naive baseline. To address these challenges, we introduce a novel framework, LPZero, which is the first to automatically design ZC proxies for various tasks, achieving higher ranking consistency than human-designed proxies. Specifically, we model the ZC proxy as a symbolic equation and incorporate a unified proxy search space that encompasses existing ZC proxies, which are composed of a predefined set of mathematical symbols. To heuristically search for the best ZC proxy, LPZero incorporates genetic programming to find the optimal symbolic composition. We propose a Rule-based Pruning Strategy (RPS), which preemptively eliminates unpromising proxies, thereby mitigating the risk of proxy degradation. Extensive experiments on FlexiBERT, GPT-2, and LLaMA-7B demonstrate LPZero's superior ranking ability and performance on downstream tasks compared to current approaches.