OmniPred : Les modèles de langage comme régresseurs universels

OmniPred: Language Models as Universal Regressors

February 22, 2024

Auteurs: Xingyou Song, Oscar Li, Chansoo Lee, Bangding, Yang, Daiyi Peng, Sagi Perel, Yutian Chen

cs.AI

Résumé

Dans le vaste paysage de la conception expérimentale, la régression a été un outil puissant pour prédire avec précision les métriques de performance d'un système ou d'un modèle à partir d'un ensemble de paramètres, mais elle a traditionnellement été limitée à des méthodes applicables uniquement à une tâche spécifique. Dans cet article, nous proposons OmniPred, un cadre pour entraîner des modèles de langage en tant que régresseurs universels de bout en bout sur des données d'évaluation (x,y) issues d'expériences variées du monde réel. En utilisant des données provenant de Google Vizier, l'une des plus grandes bases de données d'optimisation en boîte noire au monde, nos expériences approfondies démontrent qu'avec seulement des représentations textuelles de paramètres et de valeurs mathématiques, les modèles de langage sont capables d'effectuer une régression numérique très précise, et s'ils ont la possibilité de s'entraîner sur plusieurs tâches, ils peuvent surpasser significativement les modèles de régression traditionnels.

English

Over the broad landscape of experimental design, regression has been a powerful tool to accurately predict the outcome metrics of a system or model given a set of parameters, but has been traditionally restricted to methods which are only applicable to a specific task. In this paper, we propose OmniPred, a framework for training language models as universal end-to-end regressors over (x,y) evaluation data from diverse real world experiments. Using data sourced from Google Vizier, one of the largest blackbox optimization databases in the world, our extensive experiments demonstrate that through only textual representations of mathematical parameters and values, language models are capable of very precise numerical regression, and if given the opportunity to train over multiple tasks, can significantly outperform traditional regression models.