OmniPred: Modelos de Lenguaje como Regresores Universales

Resumen

En el amplio panorama del diseño experimental, la regresión ha sido una herramienta poderosa para predecir con precisión las métricas de resultado de un sistema o modelo dado un conjunto de parámetros, pero tradicionalmente se ha limitado a métodos aplicables únicamente a tareas específicas. En este artículo, proponemos OmniPred, un marco para entrenar modelos de lenguaje como regresores universales de extremo a extremo sobre datos de evaluación (x, y) provenientes de diversos experimentos del mundo real. Utilizando datos obtenidos de Google Vizier, una de las bases de datos de optimización de caja negra más grandes del mundo, nuestros extensos experimentos demuestran que, a través de representaciones textuales de parámetros y valores matemáticos, los modelos de lenguaje son capaces de realizar regresiones numéricas muy precisas y, si se les da la oportunidad de entrenar en múltiples tareas, pueden superar significativamente a los modelos de regresión tradicionales.

English

Over the broad landscape of experimental design, regression has been a powerful tool to accurately predict the outcome metrics of a system or model given a set of parameters, but has been traditionally restricted to methods which are only applicable to a specific task. In this paper, we propose OmniPred, a framework for training language models as universal end-to-end regressors over (x,y) evaluation data from diverse real world experiments. Using data sourced from Google Vizier, one of the largest blackbox optimization databases in the world, our extensive experiments demonstrate that through only textual representations of mathematical parameters and values, language models are capable of very precise numerical regression, and if given the opportunity to train over multiple tasks, can significantly outperform traditional regression models.

OmniPred: Modelos de Lenguaje como Regresores Universales

OmniPred: Language Models as Universal Regressors

Resumen

Support