LPZero: 제로 비용 프록시 검색을 위한 제로 언어 모델

LPZero: Language Model Zero-cost Proxy Search from Zero

October 7, 2024

저자: Peijie Dong, Lujun Li, Xiang Liu, Zhenheng Tang, Xuebo Liu, Qiang Wang, Xiaowen Chu

cs.AI

초록

우수한 성능에도 불구하고, 신경망 구조 탐색(Neural Architecture Search, NAS)은 대규모 계산 비용으로 비판받고 있습니다. 최근에는 Zero-shot NAS가 등장하여 Zero-cost (ZC) 프록시를 활용하여 계산 요구를 현저히 줄이는 유망한 접근법으로 인정받고 있습니다. 그러나 기존의 ZC 프록시는 전문가 지식에 크게 의존하며 상당한 시행착오 비용이 발생합니다. 특히 자연어 처리(NLP) 작업에서 대부분의 기존 ZC 프록시는 소박한 기준선의 성능을 능가하지 못합니다. 이러한 도전에 대응하기 위해 우리는 다양한 작업을 위해 자동으로 ZC 프록시를 설계하는 최초의 프레임워크인 LPZero를 제안합니다. 이는 인간이 설계한 프록시보다 더 높은 순위 일관성을 달성합니다. 구체적으로, 우리는 ZC 프록시를 상징적 방정식으로 모델링하고, 기존 ZC 프록시를 포함하는 통합된 프록시 탐색 공간을 통합합니다. 이는 미리 정의된 수학 기호 집합으로 구성된 기존 ZC 프록시를 포함합니다. 최적의 ZC 프록시를 탐색하기 위해 LPZero는 유전 프로그래밍을 통합하여 최적의 상징적 구성을 찾습니다. 우리는 프록시의 위험을 완화하기 위해 유도적으로 불희망한 프록시를 제거하는 Rule-based Pruning Strategy (RPS)를 제안합니다. FlexiBERT, GPT-2, LLaMA-7B에서 수행된 광범위한 실험은 LPZero의 우수한 순위 지정 능력과 현재 방법에 비해 하류 작업에서의 성능을 입증합니다.

English

In spite of the outstanding performance, Neural Architecture Search (NAS) is criticized for massive computation. Recently, Zero-shot NAS has emerged as a promising approach by exploiting Zero-cost (ZC) proxies, which markedly reduce computational demands. Despite this, existing ZC proxies heavily rely on expert knowledge and incur significant trial-and-error costs. Particularly in NLP tasks, most existing ZC proxies fail to surpass the performance of the naive baseline. To address these challenges, we introduce a novel framework, LPZero, which is the first to automatically design ZC proxies for various tasks, achieving higher ranking consistency than human-designed proxies. Specifically, we model the ZC proxy as a symbolic equation and incorporate a unified proxy search space that encompasses existing ZC proxies, which are composed of a predefined set of mathematical symbols. To heuristically search for the best ZC proxy, LPZero incorporates genetic programming to find the optimal symbolic composition. We propose a Rule-based Pruning Strategy (RPS), which preemptively eliminates unpromising proxies, thereby mitigating the risk of proxy degradation. Extensive experiments on FlexiBERT, GPT-2, and LLaMA-7B demonstrate LPZero's superior ranking ability and performance on downstream tasks compared to current approaches.