Обратное масштабирование: когда больше — не значит лучше

Inverse Scaling: When Bigger Isn't Better

June 15, 2023

Авторы: Ian R. McKenzie, Alexander Lyzhov, Michael Pieler, Alicia Parrish, Aaron Mueller, Ameya Prabhu, Euan McLean, Aaron Kirtland, Alexis Ross, Alisa Liu, Andrew Gritsevskiy, Daniel Wurgaft, Derik Kauffman, Gabriel Recchia, Jiacheng Liu, Joe Cavanagh, Max Weiss, Sicong Huang, The Floating Droid, Tom Tseng, Tomasz Korbak, Xudong Shen, Yuhui Zhang, Zhengping Zhou, Najoung Kim, Samuel R. Bowman, Ethan Perez

cs.AI

Аннотация

Исследования законов масштабирования показали, что крупные языковые модели (LMs) демонстрируют предсказуемое улучшение общей функции потерь с увеличением масштаба (размера модели, объема обучающих данных и вычислительных ресурсов). В данной работе мы представляем доказательства утверждения, что LMs могут демонстрировать обратное масштабирование, то есть ухудшение производительности на задачах с увеличением масштаба, например, из-за недостатков в целевой функции обучения и данных. Мы приводим эмпирические свидетельства обратного масштабирования на 11 наборах данных, собранных в ходе публичного конкурса Inverse Scaling Prize с существенным призовым фондом. Анализируя эти наборы данных, а также другие примеры, найденные в литературе, мы выделяем четыре потенциальные причины обратного масштабирования: (i) предпочтение повторения запомненных последовательностей вместо следования инструкциям в контексте, (ii) имитация нежелательных шаблонов в обучающих данных, (iii) наличие в задачах простого отвлекающего задания, на котором LMs могут сосредоточиться вместо более сложной основной задачи, и (iv) корректные, но вводящие в заблуждение few-shot демонстрации задачи. Мы публикуем выигравшие наборы данных на сайте https://inversescaling.com/data для дальнейшего изучения обратного масштабирования. Наши задачи способствовали открытию U-образных и перевернутых U-образных трендов масштабирования, где первоначальный тренд меняется на противоположный, что указывает на меньшую надежность законов масштабирования в прогнозировании поведения моделей большего масштаба, чем считалось ранее. В целом, наши результаты свидетельствуют о том, что существуют задачи, для которых увеличение масштаба модели само по себе может не приводить к прогрессу, и что требуется более тщательное обдумывание данных и целей обучения языковых моделей.

English

Work on scaling laws has found that large language models (LMs) show predictable improvements to overall loss with increased scale (model size, training data, and compute). Here, we present evidence for the claim that LMs may show inverse scaling, or worse task performance with increased scale, e.g., due to flaws in the training objective and data. We present empirical evidence of inverse scaling on 11 datasets collected by running a public contest, the Inverse Scaling Prize, with a substantial prize pool. Through analysis of the datasets, along with other examples found in the literature, we identify four potential causes of inverse scaling: (i) preference to repeat memorized sequences over following in-context instructions, (ii) imitation of undesirable patterns in the training data, (iii) tasks containing an easy distractor task which LMs could focus on, rather than the harder real task, and (iv) correct but misleading few-shot demonstrations of the task. We release the winning datasets at https://inversescaling.com/data to allow for further investigation of inverse scaling. Our tasks have helped drive the discovery of U-shaped and inverted-U scaling trends, where an initial trend reverses, suggesting that scaling trends are less reliable at predicting the behavior of larger-scale models than previously understood. Overall, our results suggest that there are tasks for which increased model scale alone may not lead to progress, and that more careful thought needs to go into the data and objectives for training language models.