La Falsa Promesa de Imitar Modelos de Lenguaje Propietarios

The False Promise of Imitating Proprietary LLMs

May 25, 2023

Autores: Arnav Gudibande, Eric Wallace, Charlie Snell, Xinyang Geng, Hao Liu, Pieter Abbeel, Sergey Levine, Dawn Song

cs.AI

Resumen

Un método emergente para mejorar de manera económica un modelo de lenguaje más débil es ajustarlo (finetune) con salidas de un modelo más potente, como un sistema propietario como ChatGPT (por ejemplo, Alpaca, Self-Instruct y otros). Este enfoque busca imitar de manera económica las capacidades del modelo propietario utilizando un modelo de código abierto más débil. En este trabajo, analizamos críticamente este enfoque. Primero, ajustamos una serie de modelos de lenguaje (LMs) que imitan a ChatGPT utilizando diferentes tamaños de modelos base (1.5B--13B), fuentes de datos y cantidades de datos de imitación (0.3M--150M tokens). Luego, evaluamos los modelos utilizando evaluadores humanos y benchmarks canónicos de PLN. Inicialmente, nos sorprendió la calidad de las salidas de nuestros modelos de imitación: parecen ser mucho mejores siguiendo instrucciones, y los evaluadores humanos califican sus salidas como competitivas con ChatGPT. Sin embargo, al realizar evaluaciones automáticas más específicas, encontramos que los modelos de imitación reducen poco o nada la brecha entre el modelo base y ChatGPT en tareas que no están fuertemente respaldadas en los datos de imitación. Mostramos que estas discrepancias de rendimiento pueden pasar desapercibidas para los evaluadores humanos porque los modelos de imitación son hábiles para imitar el estilo de ChatGPT, pero no su factualidad. En general, concluimos que la imitación de modelos es una promesa falsa: existe una brecha sustancial de capacidades entre los LMs de código abierto y los cerrados que, con los métodos actuales, solo puede cerrarse utilizando una cantidad ingente de datos de imitación o utilizando modelos base más capaces. A su vez, argumentamos que la acción de mayor impacto para mejorar los modelos de código abierto es abordar el difícil desafío de desarrollar mejores modelos base, en lugar de tomar el atajo de imitar sistemas propietarios.

English

An emerging method to cheaply improve a weaker language model is to finetune it on outputs from a stronger model, such as a proprietary system like ChatGPT (e.g., Alpaca, Self-Instruct, and others). This approach looks to cheaply imitate the proprietary model's capabilities using a weaker open-source model. In this work, we critically analyze this approach. We first finetune a series of LMs that imitate ChatGPT using varying base model sizes (1.5B--13B), data sources, and imitation data amounts (0.3M--150M tokens). We then evaluate the models using crowd raters and canonical NLP benchmarks. Initially, we were surprised by the output quality of our imitation models -- they appear far better at following instructions, and crowd workers rate their outputs as competitive with ChatGPT. However, when conducting more targeted automatic evaluations, we find that imitation models close little to none of the gap from the base LM to ChatGPT on tasks that are not heavily supported in the imitation data. We show that these performance discrepancies may slip past human raters because imitation models are adept at mimicking ChatGPT's style but not its factuality. Overall, we conclude that model imitation is a false promise: there exists a substantial capabilities gap between open and closed LMs that, with current methods, can only be bridged using an unwieldy amount of imitation data or by using more capable base LMs. In turn, we argue that the highest leverage action for improving open-source models is to tackle the difficult challenge of developing better base LMs, rather than taking the shortcut of imitating proprietary systems.