De valse belofte van het imiteren van propriëtaire LLM's

The False Promise of Imitating Proprietary LLMs

May 25, 2023

Auteurs: Arnav Gudibande, Eric Wallace, Charlie Snell, Xinyang Geng, Hao Liu, Pieter Abbeel, Sergey Levine, Dawn Song

cs.AI

Samenvatting

Een opkomende methode om goedkoop een zwakker taalmodel te verbeteren, is het finetunen ervan op uitvoer van een sterker model, zoals een propriëtair systeem zoals ChatGPT (bijv. Alpaca, Self-Instruct en anderen). Deze benadering probeert op goedkope wijze de mogelijkheden van het propriëtaire model na te bootsen met een zwakker open-source model. In dit werk analyseren we deze benadering kritisch. We finetunen eerst een reeks taalmodellen die ChatGPT imiteren, waarbij we variëren in de grootte van het basismodel (1,5B–13B), gegevensbronnen en de hoeveelheid imitatiedata (0,3M–150M tokens). Vervolgens evalueren we de modellen met behulp van crowdbeoordelaars en standaard NLP-benchmarks. Aanvankelijk waren we verrast door de uitvoerkwaliteit van onze imitatiemodellen – ze lijken veel beter in het volgen van instructies, en crowdwerkers beoordelen hun uitvoer als concurrerend met ChatGPT. Wanneer we echter meer gerichte automatische evaluaties uitvoeren, ontdekken we dat imitatiemodellen weinig tot geen van de kloof tussen het basismodel en ChatGPT overbruggen bij taken die niet sterk ondersteund worden in de imitatiedata. We laten zien dat deze prestatieverschillen menselijke beoordelaars kunnen ontgaan omdat imitatiemodellen bedreven zijn in het nabootsen van de stijl van ChatGPT, maar niet van de feitelijke inhoud. Over het geheel concluderen we dat modelimitatie een valse belofte is: er bestaat een aanzienlijk capaciteitsverschil tussen open en gesloten taalmodellen dat, met de huidige methoden, alleen kan worden overbrugd met een onhandelbare hoeveelheid imitatiedata of door gebruik te maken van capabelere basismodellen. Op hun beurt stellen we dat de meest effectieve actie voor het verbeteren van open-source modellen is om de moeilijke uitdaging aan te gaan van het ontwikkelen van betere basismodellen, in plaats van de kortste weg te nemen door propriëtaire systemen te imiteren.

English

An emerging method to cheaply improve a weaker language model is to finetune it on outputs from a stronger model, such as a proprietary system like ChatGPT (e.g., Alpaca, Self-Instruct, and others). This approach looks to cheaply imitate the proprietary model's capabilities using a weaker open-source model. In this work, we critically analyze this approach. We first finetune a series of LMs that imitate ChatGPT using varying base model sizes (1.5B--13B), data sources, and imitation data amounts (0.3M--150M tokens). We then evaluate the models using crowd raters and canonical NLP benchmarks. Initially, we were surprised by the output quality of our imitation models -- they appear far better at following instructions, and crowd workers rate their outputs as competitive with ChatGPT. However, when conducting more targeted automatic evaluations, we find that imitation models close little to none of the gap from the base LM to ChatGPT on tasks that are not heavily supported in the imitation data. We show that these performance discrepancies may slip past human raters because imitation models are adept at mimicking ChatGPT's style but not its factuality. Overall, we conclude that model imitation is a false promise: there exists a substantial capabilities gap between open and closed LMs that, with current methods, can only be bridged using an unwieldy amount of imitation data or by using more capable base LMs. In turn, we argue that the highest leverage action for improving open-source models is to tackle the difficult challenge of developing better base LMs, rather than taking the shortcut of imitating proprietary systems.