La Fausse Promesse de l'Imitation des LLMs Propriétaires

The False Promise of Imitating Proprietary LLMs

May 25, 2023

Auteurs: Arnav Gudibande, Eric Wallace, Charlie Snell, Xinyang Geng, Hao Liu, Pieter Abbeel, Sergey Levine, Dawn Song

cs.AI

Résumé

Une méthode émergente pour améliorer à moindre coût un modèle de langage moins performant consiste à l'affiner sur des sorties provenant d'un modèle plus puissant, tel qu'un système propriétaire comme ChatGPT (par exemple, Alpaca, Self-Instruct, et d'autres). Cette approche vise à imiter à moindre coût les capacités du modèle propriétaire en utilisant un modèle open-source moins performant. Dans ce travail, nous analysons de manière critique cette approche. Nous affinons d'abord une série de modèles de langage qui imitent ChatGPT en utilisant différentes tailles de modèles de base (1,5B à 13B), des sources de données variées et des quantités de données d'imitation (0,3M à 150M tokens). Nous évaluons ensuite les modèles à l'aide d'évaluateurs humains et de benchmarks NLP canoniques. Initialement, nous avons été surpris par la qualité des sorties de nos modèles d'imitation — ils semblent bien meilleurs pour suivre les instructions, et les évaluateurs humains jugent leurs sorties comme compétitives par rapport à ChatGPT. Cependant, en menant des évaluations automatiques plus ciblées, nous constatons que les modèles d'imitation réduisent peu ou pas du tout l'écart entre le modèle de base et ChatGPT sur des tâches qui ne sont pas fortement représentées dans les données d'imitation. Nous montrons que ces écarts de performance peuvent échapper aux évaluateurs humains car les modèles d'imitation sont habiles à imiter le style de ChatGPT mais pas sa factualité. Globalement, nous concluons que l'imitation de modèles est une promesse trompeuse : il existe un écart substantiel de capacités entre les modèles de langage open-source et propriétaires qui, avec les méthodes actuelles, ne peut être comblé qu'en utilisant une quantité ingérable de données d'imitation ou en utilisant des modèles de base plus performants. En conséquence, nous soutenons que l'action la plus efficace pour améliorer les modèles open-source est de relever le défi difficile de développer de meilleurs modèles de base, plutôt que de prendre le raccourci de l'imitation des systèmes propriétaires.

English

An emerging method to cheaply improve a weaker language model is to finetune it on outputs from a stronger model, such as a proprietary system like ChatGPT (e.g., Alpaca, Self-Instruct, and others). This approach looks to cheaply imitate the proprietary model's capabilities using a weaker open-source model. In this work, we critically analyze this approach. We first finetune a series of LMs that imitate ChatGPT using varying base model sizes (1.5B--13B), data sources, and imitation data amounts (0.3M--150M tokens). We then evaluate the models using crowd raters and canonical NLP benchmarks. Initially, we were surprised by the output quality of our imitation models -- they appear far better at following instructions, and crowd workers rate their outputs as competitive with ChatGPT. However, when conducting more targeted automatic evaluations, we find that imitation models close little to none of the gap from the base LM to ChatGPT on tasks that are not heavily supported in the imitation data. We show that these performance discrepancies may slip past human raters because imitation models are adept at mimicking ChatGPT's style but not its factuality. Overall, we conclude that model imitation is a false promise: there exists a substantial capabilities gap between open and closed LMs that, with current methods, can only be bridged using an unwieldy amount of imitation data or by using more capable base LMs. In turn, we argue that the highest leverage action for improving open-source models is to tackle the difficult challenge of developing better base LMs, rather than taking the shortcut of imitating proprietary systems.