逆スケーリング：大きいことが必ずしも良いとは限らない

Inverse Scaling: When Bigger Isn't Better

June 15, 2023

著者: Ian R. McKenzie, Alexander Lyzhov, Michael Pieler, Alicia Parrish, Aaron Mueller, Ameya Prabhu, Euan McLean, Aaron Kirtland, Alexis Ross, Alisa Liu, Andrew Gritsevskiy, Daniel Wurgaft, Derik Kauffman, Gabriel Recchia, Jiacheng Liu, Joe Cavanagh, Max Weiss, Sicong Huang, The Floating Droid, Tom Tseng, Tomasz Korbak, Xudong Shen, Yuhui Zhang, Zhengping Zhou, Najoung Kim, Samuel R. Bowman, Ethan Perez

cs.AI

要旨

スケーリング則に関する研究では、大規模言語モデル（LMs）が、スケール（モデルサイズ、トレーニングデータ、計算資源）の増加に伴い、全体の損失が予測可能な形で改善されることが示されてきた。本論文では、LMsがスケールの増加に伴い逆スケーリング、すなわちタスク性能が悪化する可能性があるという主張を裏付ける証拠を提示する。これは、トレーニング目的やデータの欠陥などが原因となり得る。我々は、公開コンテスト「Inverse Scaling Prize」を開催し、その結果として収集された11のデータセットにおいて逆スケーリングの実証的証拠を示す。このコンテストは、高額の賞金プールを設けて実施された。データセットの分析を通じて、また文献から見つかった他の例と併せて、逆スケーリングの4つの潜在的な原因を特定した：(i) 文脈内の指示に従うよりも、記憶されたシーケンスを繰り返す傾向、(ii) トレーニングデータ内の望ましくないパターンの模倣、(iii) LMsがより難しい本来のタスクではなく、簡単なディストラクタータスクに集中してしまうタスク、(iv) タスクの正しいが誤解を招く少数ショットデモンストレーション。我々は、逆スケーリングのさらなる調査を可能にするため、優勝データセットをhttps://inversescaling.com/dataで公開した。我々のタスクは、U字型および逆U字型のスケーリングトレンドの発見を促進し、初期のトレンドが逆転することを示唆している。これは、スケーリングトレンドが、従来理解されていたよりも大規模モデルの挙動を予測する上で信頼性が低いことを示している。全体として、我々の結果は、モデルスケールの増加だけでは進歩につながらないタスクが存在し、言語モデルのトレーニングにおけるデータと目的についてより慎重な検討が必要であることを示唆している。

English

Work on scaling laws has found that large language models (LMs) show predictable improvements to overall loss with increased scale (model size, training data, and compute). Here, we present evidence for the claim that LMs may show inverse scaling, or worse task performance with increased scale, e.g., due to flaws in the training objective and data. We present empirical evidence of inverse scaling on 11 datasets collected by running a public contest, the Inverse Scaling Prize, with a substantial prize pool. Through analysis of the datasets, along with other examples found in the literature, we identify four potential causes of inverse scaling: (i) preference to repeat memorized sequences over following in-context instructions, (ii) imitation of undesirable patterns in the training data, (iii) tasks containing an easy distractor task which LMs could focus on, rather than the harder real task, and (iv) correct but misleading few-shot demonstrations of the task. We release the winning datasets at https://inversescaling.com/data to allow for further investigation of inverse scaling. Our tasks have helped drive the discovery of U-shaped and inverted-U scaling trends, where an initial trend reverses, suggesting that scaling trends are less reliable at predicting the behavior of larger-scale models than previously understood. Overall, our results suggest that there are tasks for which increased model scale alone may not lead to progress, and that more careful thought needs to go into the data and objectives for training language models.