なぜフロンティアAIモデルの下流能力をスケールで予測することが依然として困難なのか？

Why Has Predicting Downstream Capabilities of Frontier AI Models with Scale Remained Elusive?

June 6, 2024

著者: Rylan Schaeffer, Hailey Schoelkopf, Brando Miranda, Gabriel Mukobi, Varun Madan, Adam Ibrahim, Herbie Bradley, Stella Biderman, Sanmi Koyejo

cs.AI

要旨

スケーリングによる先進的AIシステムの予測可能な振る舞いは、極めて望ましい特性である。事前学習の性能がどのようにスケールするかについては確立された文献が存在するが、特定の下流タスク能力がどのようにスケールするかに関する文献ははるかに曖昧である。本研究では、一歩引いて次の問いを立てる：なぜスケールに伴う特定の下流タスク能力の予測は困難なままなのか？多くの要因が確かに関与しているが、我々は広く使われている多肢選択問題解答ベンチマークにおけるスケーリング挙動のモデリングを困難にする新たな要因を特定した。5つのモデルファミリーと12の確立された多肢選択ベンチマークを用いて、下流タスクの性能が負の対数尤度から一連の変換を経て計算されること、そしてこれらの変換が性能とスケールの間の統計的関係を徐々に劣化させることを示した。さらに、この劣化を引き起こすメカニズムを明らかにした：下流タスクの評価指標は正解選択肢と少数の特定の不正解選択肢を比較する必要があるため、下流タスク能力を正確に予測するには、スケールに伴って確率質量が正解選択肢に集中するだけでなく、特定の不正解選択肢上の確率質量がどのように変動するかを予測する必要がある。我々は、計算量の増加に伴い正解選択肢と不正解選択肢上の確率質量がどのように共変するかを実証的に研究し、不正解選択肢に対するスケーリング法則が達成可能であることを示唆した。本研究はまた、なぜ事前学習のスケーリング法則が下流タスク能力よりも予測可能とされるのかを説明し、最先端AIモデルのスケーリング予測可能な評価を確立するための貢献を果たす。

English

Predictable behavior from scaling advanced AI systems is an extremely desirable property. Although a well-established literature exists on how pretraining performance scales, the literature on how particular downstream capabilities scale is significantly muddier. In this work, we take a step back and ask: why has predicting specific downstream capabilities with scale remained elusive? While many factors are certainly responsible, we identify a new factor that makes modeling scaling behavior on widely used multiple-choice question-answering benchmarks challenging. Using five model families and twelve well-established multiple-choice benchmarks, we show that downstream performance is computed from negative log likelihoods via a sequence of transformations that progressively degrade the statistical relationship between performance and scale. We then reveal the mechanism causing this degradation: downstream metrics require comparing the correct choice against a small number of specific incorrect choices, meaning accurately predicting downstream capabilities requires predicting not just how probability mass concentrates on the correct choice with scale, but also how probability mass fluctuates on specific incorrect choices with scale. We empirically study how probability mass on the correct choice co-varies with probability mass on incorrect choices with increasing compute, suggesting that scaling laws for incorrect choices might be achievable. Our work also explains why pretraining scaling laws are commonly regarded as more predictable than downstream capabilities and contributes towards establishing scaling-predictable evaluations of frontier AI models.