大規模システムの性能予測のためのテキスト間回帰分析

要旨

多くの産業において、大規模システムのメトリック結果を予測することは、主に従来の表形式回帰によって推進される基本的な問題である。しかし、そのような手法は、設定ファイルやシステムログなどの複雑なシステムデータに対しては、特徴量エンジニアリングがしばしば実行不可能であるため、困難を極める。我々は、テキストからテキストへの回帰を、一般的でスケーラブルな代替手法として提案する。Googleの大規模コンピュートクラスタスケジューリングシステムであるBorgにおけるリソース効率の予測において、ランダムな初期化から訓練された6000万パラメータのエンコーダ-デコーダモデルは、フリート全体でほぼ完璧な0.99（平均0.9）の順位相関を達成し、表形式アプローチに比べて100倍低い平均二乗誤差（MSE）を示した。このモデルは、わずか500の少数ショット例で新しいタスクに容易に適応し、複雑な結果分布の密度を捉えることができる。アブレーション研究は、エンコーダの使用、シーケンス長の増加、およびモデルの内在的な不確実性定量化の重要性を強調している。これらの発見は、現実世界の結果をシミュレートする普遍的なシミュレータへの道を開くものである。

English

In many industries, predicting metric outcomes of large systems is a fundamental problem, driven largely by traditional tabular regression. However, such methods struggle on complex systems data in the wild such as configuration files or system logs, where feature engineering is often infeasible. We propose text-to-text regression as a general, scalable alternative. For predicting resource efficiency on Borg, Google's massive compute cluster scheduling system, a 60M parameter encoder-decoder, trained from random initialization, achieves up to a near perfect 0.99 (0.9 average) rank correlation across the entire fleet, and 100x lower MSE than tabular approaches. The model also easily adapts to new tasks in only 500 few-shot examples and captures the densities of complex outcome distributions. Ablation studies highlight the importance of using encoders, increasing sequence length, and the model's inherent uncertainty quantification. These findings pave the way for universal simulators of real-world outcomes.

大規模システムの性能予測のためのテキスト間回帰分析

Performance Prediction for Large Systems via Text-to-Text Regression

要旨

Support