Законы наблюдения масштабов и предсказуемость производительности языковой модели

Observational Scaling Laws and the Predictability of Language Model Performance

May 17, 2024

Авторы: Yangjun Ruan, Chris J. Maddison, Tatsunori Hashimoto

cs.AI

Аннотация

Понимание того, как производительность языковых моделей изменяется с масштабом, критично для оценки и разработки алгоритмов. Законы масштабирования являются одним из подходов к построению этого понимания, но требование обучения моделей на множестве различных масштабов ограничило их использование. Мы предлагаем альтернативный наблюдательный подход, который обходит обучение моделей и вместо этого строит законы масштабирования на основе около 80 публично доступных моделей. Построение единого закона масштабирования из нескольких семейств моделей представляет собой сложную задачу из-за значительных различий в их эффективности и возможностях обучения. Тем не менее мы показываем, что эти различия согласуются с простым, обобщенным законом масштабирования, где производительность языковой модели является функцией пространства возможностей низкой размерности, а семейства моделей различаются только по эффективности преобразования вычислительных возможностей в возможности. Используя этот подход, мы демонстрируем удивительную предсказуемость сложных явлений масштабирования: мы показываем, что несколько возникающих явлений следуют плавному сигмоидальному поведению и могут быть предсказаны на основе небольших моделей; мы показываем, что производительность агента моделей, таких как GPT-4, может быть точно предсказана на основе более простых неагентных бенчмарков; и мы показываем, как предсказать воздействие пост-тренировочных вмешательств, таких как Chain-of-Thought и Self-Consistency, по мере улучшения возможностей языковой модели.

English

Understanding how language model performance varies with scale is critical to benchmark and algorithm development. Scaling laws are one approach to building this understanding, but the requirement of training models across many different scales has limited their use. We propose an alternative, observational approach that bypasses model training and instead builds scaling laws from ~80 publically available models. Building a single scaling law from multiple model families is challenging due to large variations in their training compute efficiencies and capabilities. However, we show that these variations are consistent with a simple, generalized scaling law where language model performance is a function of a low-dimensional capability space, and model families only vary in their efficiency in converting training compute to capabilities. Using this approach, we show the surprising predictability of complex scaling phenomena: we show that several emergent phenomena follow a smooth, sigmoidal behavior and are predictable from small models; we show that the agent performance of models such as GPT-4 can be precisely predicted from simpler non-agentic benchmarks; and we show how to predict the impact of post-training interventions like Chain-of-Thought and Self-Consistency as language model capabilities continue to improve.