LPZero: Modelo de Linguagem de Procura de Proxy sem Custo a partir do Zero

LPZero: Language Model Zero-cost Proxy Search from Zero

October 7, 2024

Autores: Peijie Dong, Lujun Li, Xiang Liu, Zhenheng Tang, Xuebo Liu, Qiang Wang, Xiaowen Chu

cs.AI

Resumo

Apesar do desempenho excepcional, a Busca de Arquitetura Neural (NAS) é criticada pela enorme quantidade de cálculos. Recentemente, a NAS de Zero-shot surgiu como uma abordagem promissora ao explorar Proxies de Zero-custo (ZC), que reduzem significativamente as demandas computacionais. Apesar disso, os Proxies ZC existentes dependem fortemente do conhecimento especializado e incorrem em custos significativos de tentativa e erro. Especialmente em tarefas de Processamento de Linguagem Natural (NLP), a maioria dos Proxies ZC existentes não consegue superar o desempenho da linha de base ingênua. Para enfrentar esses desafios, apresentamos um novo framework, LPZero, que é o primeiro a projetar automaticamente Proxies ZC para várias tarefas, alcançando uma consistência de classificação mais alta do que os Proxies projetados por humanos. Especificamente, modelamos o Proxy ZC como uma equação simbólica e incorporamos um espaço de busca de Proxy unificado que engloba os Proxies ZC existentes, compostos por um conjunto predefinido de símbolos matemáticos. Para buscar heuristicamente o melhor Proxy ZC, o LPZero incorpora programação genética para encontrar a composição simbólica ideal. Propomos uma Estratégia de Poda Baseada em Regras (RPS), que elimina preventivamente Proxies pouco promissores, mitigando assim o risco de degradação do Proxy. Experimentos extensos em FlexiBERT, GPT-2 e LLaMA-7B demonstram a capacidade de classificação superior do LPZero e seu desempenho em tarefas subsequentes em comparação com abordagens atuais.

English

In spite of the outstanding performance, Neural Architecture Search (NAS) is criticized for massive computation. Recently, Zero-shot NAS has emerged as a promising approach by exploiting Zero-cost (ZC) proxies, which markedly reduce computational demands. Despite this, existing ZC proxies heavily rely on expert knowledge and incur significant trial-and-error costs. Particularly in NLP tasks, most existing ZC proxies fail to surpass the performance of the naive baseline. To address these challenges, we introduce a novel framework, LPZero, which is the first to automatically design ZC proxies for various tasks, achieving higher ranking consistency than human-designed proxies. Specifically, we model the ZC proxy as a symbolic equation and incorporate a unified proxy search space that encompasses existing ZC proxies, which are composed of a predefined set of mathematical symbols. To heuristically search for the best ZC proxy, LPZero incorporates genetic programming to find the optimal symbolic composition. We propose a Rule-based Pruning Strategy (RPS), which preemptively eliminates unpromising proxies, thereby mitigating the risk of proxy degradation. Extensive experiments on FlexiBERT, GPT-2, and LLaMA-7B demonstrate LPZero's superior ranking ability and performance on downstream tasks compared to current approaches.