OmniPred: Taalmodellen als Universele Regressoren

OmniPred: Language Models as Universal Regressors

February 22, 2024

Auteurs: Xingyou Song, Oscar Li, Chansoo Lee, Bangding, Yang, Daiyi Peng, Sagi Perel, Yutian Chen

cs.AI

Samenvatting

Over het brede landschap van experimenteel ontwerp is regressie een krachtig instrument geweest om de uitkomstmetingen van een systeem of model nauwkeurig te voorspellen op basis van een set parameters, maar was het traditioneel beperkt tot methoden die alleen toepasbaar zijn op een specifieke taak. In dit artikel stellen we OmniPred voor, een raamwerk voor het trainen van taalmodelen als universele end-to-end regressoren over (x,y)-evaluatiedata uit diverse real-world experimenten. Met behulp van data afkomstig van Google Vizier, een van de grootste blackbox-optimalisatiedatabases ter wereld, tonen onze uitgebreide experimenten aan dat taalmodelen, door alleen tekstuele representaties van wiskundige parameters en waarden, in staat zijn tot zeer precieze numerieke regressie, en dat ze, indien de mogelijkheid krijgen om over meerdere taken te trainen, traditionele regressiemodellen significant kunnen overstijgen.

English

Over the broad landscape of experimental design, regression has been a powerful tool to accurately predict the outcome metrics of a system or model given a set of parameters, but has been traditionally restricted to methods which are only applicable to a specific task. In this paper, we propose OmniPred, a framework for training language models as universal end-to-end regressors over (x,y) evaluation data from diverse real world experiments. Using data sourced from Google Vizier, one of the largest blackbox optimization databases in the world, our extensive experiments demonstrate that through only textual representations of mathematical parameters and values, language models are capable of very precise numerical regression, and if given the opportunity to train over multiple tasks, can significantly outperform traditional regression models.