OmniPred: Modelos de Linguagem como Regressores Universais

Resumo

Ao longo do amplo cenário do design experimental, a regressão tem sido uma ferramenta poderosa para prever com precisão as métricas de resultado de um sistema ou modelo, dado um conjunto de parâmetros, mas tradicionalmente foi restrita a métodos aplicáveis apenas a tarefas específicas. Neste artigo, propomos o OmniPred, uma estrutura para treinar modelos de linguagem como regressores universais de ponta a ponta sobre dados de avaliação (x, y) provenientes de diversos experimentos do mundo real. Utilizando dados obtidos do Google Vizier, um dos maiores bancos de dados de otimização de caixa preta do mundo, nossos extensos experimentos demonstram que, por meio apenas de representações textuais de parâmetros e valores matemáticos, os modelos de linguagem são capazes de realizar regressões numéricas muito precisas e, se tiverem a oportunidade de treinar em múltiplas tarefas, podem superar significativamente os modelos de regressão tradicionais.

English

Over the broad landscape of experimental design, regression has been a powerful tool to accurately predict the outcome metrics of a system or model given a set of parameters, but has been traditionally restricted to methods which are only applicable to a specific task. In this paper, we propose OmniPred, a framework for training language models as universal end-to-end regressors over (x,y) evaluation data from diverse real world experiments. Using data sourced from Google Vizier, one of the largest blackbox optimization databases in the world, our extensive experiments demonstrate that through only textual representations of mathematical parameters and values, language models are capable of very precise numerical regression, and if given the opportunity to train over multiple tasks, can significantly outperform traditional regression models.

OmniPred: Modelos de Linguagem como Regressores Universais

OmniPred: Language Models as Universal Regressors

Resumo

Support