OmniPred: Языковые модели как универсальные регрессоры
OmniPred: Language Models as Universal Regressors
February 22, 2024
Авторы: Xingyou Song, Oscar Li, Chansoo Lee, Bangding, Yang, Daiyi Peng, Sagi Perel, Yutian Chen
cs.AI
Аннотация
В широком спектре экспериментального проектирования регрессия была мощным инструментом для точного прогнозирования метрик системы или модели на основе заданного набора параметров, однако традиционно ограничивалась методами, применимыми только к конкретным задачам. В данной статье мы представляем OmniPred — фреймворк для обучения языковых моделей в качестве универсальных сквозных регрессоров на основе данных (x, y) из разнообразных реальных экспериментов. Используя данные из Google Vizier, одной из крупнейших в мире баз данных для черного ящика оптимизации, наши масштабные эксперименты демонстрируют, что языковые модели способны выполнять очень точную численную регрессию, используя только текстовые представления математических параметров и значений, и, если им предоставляется возможность обучаться на множестве задач, могут значительно превосходить традиционные модели регрессии.
English
Over the broad landscape of experimental design, regression has been a
powerful tool to accurately predict the outcome metrics of a system or model
given a set of parameters, but has been traditionally restricted to methods
which are only applicable to a specific task. In this paper, we propose
OmniPred, a framework for training language models as universal end-to-end
regressors over (x,y) evaluation data from diverse real world experiments.
Using data sourced from Google Vizier, one of the largest blackbox optimization
databases in the world, our extensive experiments demonstrate that through only
textual representations of mathematical parameters and values, language models
are capable of very precise numerical regression, and if given the opportunity
to train over multiple tasks, can significantly outperform traditional
regression models.