LPZero: Búsqueda de Proxies de Modelo de Lenguaje sin Coste desde Cero

LPZero: Language Model Zero-cost Proxy Search from Zero

October 7, 2024

Autores: Peijie Dong, Lujun Li, Xiang Liu, Zhenheng Tang, Xuebo Liu, Qiang Wang, Xiaowen Chu

cs.AI

Resumen

A pesar del rendimiento excepcional, la Búsqueda de Arquitectura Neural (NAS, por sus siglas en inglés) es criticada por su enorme carga computacional. Recientemente, la Búsqueda NAS de Cero Disparos ha surgido como un enfoque prometedor al explotar Proxies de Cero Costo (ZC), que reducen notablemente las demandas computacionales. A pesar de esto, los proxies ZC existentes dependen en gran medida del conocimiento experto y conllevan costos significativos de prueba y error. Especialmente en tareas de Procesamiento del Lenguaje Natural (NLP, por sus siglas en inglés), la mayoría de los proxies ZC existentes no logran superar el rendimiento de la línea base ingenua. Para abordar estos desafíos, presentamos un nuevo marco, LPZero, que es el primero en diseñar automáticamente proxies ZC para diversas tareas, logrando una mayor consistencia en la clasificación que los proxies diseñados por humanos. Específicamente, modelamos el proxy ZC como una ecuación simbólica e incorporamos un espacio unificado de búsqueda de proxies que abarca los proxies ZC existentes, los cuales están compuestos por un conjunto predefinido de símbolos matemáticos. Para buscar heurísticamente el mejor proxy ZC, LPZero incorpora programación genética para encontrar la composición simbólica óptima. Proponemos una Estrategia de Poda Basada en Reglas (RPS, por sus siglas en inglés), que elimina de manera preventiva proxies poco prometedores, mitigando así el riesgo de degradación del proxy. Experimentos extensos en FlexiBERT, GPT-2 y LLaMA-7B demuestran la capacidad de clasificación superior y el rendimiento de LPZero en tareas posteriores en comparación con enfoques actuales.

English

In spite of the outstanding performance, Neural Architecture Search (NAS) is criticized for massive computation. Recently, Zero-shot NAS has emerged as a promising approach by exploiting Zero-cost (ZC) proxies, which markedly reduce computational demands. Despite this, existing ZC proxies heavily rely on expert knowledge and incur significant trial-and-error costs. Particularly in NLP tasks, most existing ZC proxies fail to surpass the performance of the naive baseline. To address these challenges, we introduce a novel framework, LPZero, which is the first to automatically design ZC proxies for various tasks, achieving higher ranking consistency than human-designed proxies. Specifically, we model the ZC proxy as a symbolic equation and incorporate a unified proxy search space that encompasses existing ZC proxies, which are composed of a predefined set of mathematical symbols. To heuristically search for the best ZC proxy, LPZero incorporates genetic programming to find the optimal symbolic composition. We propose a Rule-based Pruning Strategy (RPS), which preemptively eliminates unpromising proxies, thereby mitigating the risk of proxy degradation. Extensive experiments on FlexiBERT, GPT-2, and LLaMA-7B demonstrate LPZero's superior ranking ability and performance on downstream tasks compared to current approaches.