OmniPred: ユニバーサル回帰モデルとしての言語モデル
OmniPred: Language Models as Universal Regressors
February 22, 2024
著者: Xingyou Song, Oscar Li, Chansoo Lee, Bangding, Yang, Daiyi Peng, Sagi Perel, Yutian Chen
cs.AI
要旨
実験設計の広範な領域において、回帰は特定のパラメータ群が与えられた際に、システムやモデルの結果指標を正確に予測する強力なツールとして機能してきました。しかし、従来は特定のタスクにのみ適用可能な手法に制限されていました。本論文では、多様な現実世界の実験から得られた(x, y)評価データに対して、言語モデルを汎用的なエンドツーエンド回帰器として訓練するフレームワークであるOmniPredを提案します。世界最大級のブラックボックス最適化データベースの一つであるGoogle Vizierから取得したデータを用いた大規模な実験を通じて、数学的パラメータと値のテキスト表現のみを用いても、言語モデルが非常に精密な数値回帰を可能とし、複数のタスクにわたって訓練する機会が与えられれば、従来の回帰モデルを大幅に上回る性能を発揮できることを実証しました。
English
Over the broad landscape of experimental design, regression has been a
powerful tool to accurately predict the outcome metrics of a system or model
given a set of parameters, but has been traditionally restricted to methods
which are only applicable to a specific task. In this paper, we propose
OmniPred, a framework for training language models as universal end-to-end
regressors over (x,y) evaluation data from diverse real world experiments.
Using data sourced from Google Vizier, one of the largest blackbox optimization
databases in the world, our extensive experiments demonstrate that through only
textual representations of mathematical parameters and values, language models
are capable of very precise numerical regression, and if given the opportunity
to train over multiple tasks, can significantly outperform traditional
regression models.