Ложное обещание имитации проприетарных языковых моделей

Аннотация

Новый подход к недорогому улучшению более слабых языковых моделей заключается в их дообучении на выходах более мощной модели, такой как проприетарная система вроде ChatGPT (например, Alpaca, Self-Instruct и другие). Этот метод направлен на дешевую имитацию возможностей проприетарной модели с использованием более слабой открытой модели. В данной работе мы критически анализируем этот подход. Сначала мы дообучаем серию языковых моделей, имитирующих ChatGPT, с использованием различных размеров базовых моделей (1,5–13 млрд параметров), источников данных и объемов данных для имитации (0,3–150 млн токенов). Затем мы оцениваем модели с помощью крауд-оценщиков и стандартных NLP-бенчмарков. Изначально нас удивило качество выходных данных наших имитационных моделей — они кажутся значительно лучше в следовании инструкциям, а крауд-работники оценивают их результаты как конкурентоспособные с ChatGPT. Однако при проведении более целенаправленных автоматических оценок мы обнаруживаем, что имитационные модели практически не сокращают разрыв между базовой моделью и ChatGPT в задачах, которые слабо представлены в данных для имитации. Мы показываем, что эти расхождения в производительности могут ускользнуть от внимания человеческих оценщиков, поскольку имитационные модели хорошо копируют стиль ChatGPT, но не его фактическую точность. В целом мы заключаем, что имитация моделей — это ложное обещание: существует значительный разрыв в возможностях между открытыми и закрытыми моделями, который при текущих методах можно преодолеть только с использованием непрактично большого объема данных для имитации или более мощных базовых моделей. В свою очередь, мы утверждаем, что наиболее эффективным способом улучшения открытых моделей является решение сложной задачи разработки более качественных базовых моделей, а не использование упрощенного подхода имитации проприетарных систем.

English

An emerging method to cheaply improve a weaker language model is to finetune it on outputs from a stronger model, such as a proprietary system like ChatGPT (e.g., Alpaca, Self-Instruct, and others). This approach looks to cheaply imitate the proprietary model's capabilities using a weaker open-source model. In this work, we critically analyze this approach. We first finetune a series of LMs that imitate ChatGPT using varying base model sizes (1.5B--13B), data sources, and imitation data amounts (0.3M--150M tokens). We then evaluate the models using crowd raters and canonical NLP benchmarks. Initially, we were surprised by the output quality of our imitation models -- they appear far better at following instructions, and crowd workers rate their outputs as competitive with ChatGPT. However, when conducting more targeted automatic evaluations, we find that imitation models close little to none of the gap from the base LM to ChatGPT on tasks that are not heavily supported in the imitation data. We show that these performance discrepancies may slip past human raters because imitation models are adept at mimicking ChatGPT's style but not its factuality. Overall, we conclude that model imitation is a false promise: there exists a substantial capabilities gap between open and closed LMs that, with current methods, can only be bridged using an unwieldy amount of imitation data or by using more capable base LMs. In turn, we argue that the highest leverage action for improving open-source models is to tackle the difficult challenge of developing better base LMs, rather than taking the shortcut of imitating proprietary systems.

Ложное обещание имитации проприетарных языковых моделей

The False Promise of Imitating Proprietary LLMs

Аннотация

Support