OmniPred: Sprachmodelle als universelle Regressoren

Zusammenfassung

Im weiten Feld des experimentellen Designs war Regression ein leistungsstarkes Werkzeug, um die Ergebnisgrößen eines Systems oder Modells anhand einer Reihe von Parametern präzise vorherzusagen, wurde jedoch traditionell auf Methoden beschränkt, die nur für eine spezifische Aufgabe anwendbar sind. In diesem Artikel schlagen wir OmniPred vor, ein Framework zum Trainieren von Sprachmodellen als universelle End-to-End-Regressoren über (x,y)-Evaluierungsdaten aus diversen realen Experimenten. Unter Verwendung von Daten aus Google Vizier, einer der größten Blackbox-Optimierungsdatenbanken der Welt, zeigen unsere umfangreichen Experimente, dass Sprachmodelle allein durch textuelle Darstellungen mathematischer Parameter und Werte in der Lage sind, sehr präzise numerische Regressionen durchzuführen, und dass sie, wenn sie die Möglichkeit haben, über mehrere Aufgaben hinweg zu trainieren, traditionelle Regressionsmodelle deutlich übertreffen können.

English

Over the broad landscape of experimental design, regression has been a powerful tool to accurately predict the outcome metrics of a system or model given a set of parameters, but has been traditionally restricted to methods which are only applicable to a specific task. In this paper, we propose OmniPred, a framework for training language models as universal end-to-end regressors over (x,y) evaluation data from diverse real world experiments. Using data sourced from Google Vizier, one of the largest blackbox optimization databases in the world, our extensive experiments demonstrate that through only textual representations of mathematical parameters and values, language models are capable of very precise numerical regression, and if given the opportunity to train over multiple tasks, can significantly outperform traditional regression models.

OmniPred: Sprachmodelle als universelle Regressoren

OmniPred: Language Models as Universal Regressors

Zusammenfassung

Support