OmniPred: Modelli Linguistici come Regressori Universali

OmniPred: Language Models as Universal Regressors

February 22, 2024

Autori: Xingyou Song, Oscar Li, Chansoo Lee, Bangding, Yang, Daiyi Peng, Sagi Perel, Yutian Chen

cs.AI

Abstract

Nel vasto panorama del design sperimentale, la regressione è stata uno strumento potente per prevedere con precisione le metriche di risultato di un sistema o modello dati un insieme di parametri, ma è stata tradizionalmente limitata a metodi applicabili solo a compiti specifici. In questo articolo, proponiamo OmniPred, un framework per addestrare modelli linguistici come regressori universali end-to-end su dati di valutazione (x,y) provenienti da esperimenti reali e diversificati. Utilizzando dati provenienti da Google Vizier, uno dei più grandi database di ottimizzazione blackbox al mondo, i nostri estesi esperimenti dimostrano che, attraverso rappresentazioni testuali di parametri e valori matematici, i modelli linguistici sono in grado di eseguire regressioni numeriche molto precise e, se hanno l'opportunità di addestrarsi su più compiti, possono superare significativamente i tradizionali modelli di regressione.

English

Over the broad landscape of experimental design, regression has been a powerful tool to accurately predict the outcome metrics of a system or model given a set of parameters, but has been traditionally restricted to methods which are only applicable to a specific task. In this paper, we propose OmniPred, a framework for training language models as universal end-to-end regressors over (x,y) evaluation data from diverse real world experiments. Using data sourced from Google Vizier, one of the largest blackbox optimization databases in the world, our extensive experiments demonstrate that through only textual representations of mathematical parameters and values, language models are capable of very precise numerical regression, and if given the opportunity to train over multiple tasks, can significantly outperform traditional regression models.