A Falsa Promessa de Imitar LLMs Proprietários

The False Promise of Imitating Proprietary LLMs

May 25, 2023

Autores: Arnav Gudibande, Eric Wallace, Charlie Snell, Xinyang Geng, Hao Liu, Pieter Abbeel, Sergey Levine, Dawn Song

cs.AI

Resumo

Um método emergente para melhorar de forma econômica um modelo de linguagem mais fraco é ajustá-lo (finetune) com base em saídas de um modelo mais forte, como um sistema proprietário como o ChatGPT (por exemplo, Alpaca, Self-Instruct e outros). Essa abordagem busca imitar de forma econômica as capacidades do modelo proprietário usando um modelo de código aberto mais fraco. Neste trabalho, analisamos criticamente essa abordagem. Primeiro, ajustamos uma série de modelos de linguagem (LMs) que imitam o ChatGPT, variando tamanhos de modelos base (1,5B--13B), fontes de dados e quantidades de dados de imitação (0,3M--150M tokens). Em seguida, avaliamos os modelos usando avaliadores humanos e benchmarks canônicos de NLP. Inicialmente, ficamos surpresos com a qualidade das saídas dos nossos modelos de imitação — eles parecem muito melhores em seguir instruções, e os avaliadores humanos classificam suas saídas como competitivas com o ChatGPT. No entanto, ao realizar avaliações automáticas mais direcionadas, descobrimos que os modelos de imitação fecham pouco ou nenhum da lacuna entre o modelo base e o ChatGPT em tarefas que não são fortemente suportadas nos dados de imitação. Mostramos que essas discrepâncias de desempenho podem passar despercebidas pelos avaliadores humanos porque os modelos de imitação são hábeis em imitar o estilo do ChatGPT, mas não sua factualidade. No geral, concluímos que a imitação de modelos é uma falsa promessa: existe uma lacuna substancial de capacidades entre modelos de linguagem abertos e fechados que, com os métodos atuais, só pode ser superada usando uma quantidade impraticável de dados de imitação ou modelos base mais capazes. Por sua vez, argumentamos que a ação de maior impacto para melhorar modelos de código aberto é enfrentar o desafio difícil de desenvolver modelos base melhores, em vez de tomar o atalho de imitar sistemas proprietários.

English

An emerging method to cheaply improve a weaker language model is to finetune it on outputs from a stronger model, such as a proprietary system like ChatGPT (e.g., Alpaca, Self-Instruct, and others). This approach looks to cheaply imitate the proprietary model's capabilities using a weaker open-source model. In this work, we critically analyze this approach. We first finetune a series of LMs that imitate ChatGPT using varying base model sizes (1.5B--13B), data sources, and imitation data amounts (0.3M--150M tokens). We then evaluate the models using crowd raters and canonical NLP benchmarks. Initially, we were surprised by the output quality of our imitation models -- they appear far better at following instructions, and crowd workers rate their outputs as competitive with ChatGPT. However, when conducting more targeted automatic evaluations, we find that imitation models close little to none of the gap from the base LM to ChatGPT on tasks that are not heavily supported in the imitation data. We show that these performance discrepancies may slip past human raters because imitation models are adept at mimicking ChatGPT's style but not its factuality. Overall, we conclude that model imitation is a false promise: there exists a substantial capabilities gap between open and closed LMs that, with current methods, can only be bridged using an unwieldy amount of imitation data or by using more capable base LMs. In turn, we argue that the highest leverage action for improving open-source models is to tackle the difficult challenge of developing better base LMs, rather than taking the shortcut of imitating proprietary systems.