La Falsa Promessa dell'Imitazione dei Modelli Linguistici Proprietari

The False Promise of Imitating Proprietary LLMs

May 25, 2023

Autori: Arnav Gudibande, Eric Wallace, Charlie Snell, Xinyang Geng, Hao Liu, Pieter Abbeel, Sergey Levine, Dawn Song

cs.AI

Abstract

Un metodo emergente per migliorare economicamente un modello linguistico più debole consiste nel perfezionarlo (finetuning) sugli output di un modello più potente, come un sistema proprietario quale ChatGPT (ad esempio, Alpaca, Self-Instruct e altri). Questo approccio mira a imitare in modo economico le capacità del modello proprietario utilizzando un modello open-source più debole. In questo lavoro, analizziamo criticamente tale approccio. Inizialmente, perfezioniamo una serie di modelli linguistici (LM) che imitano ChatGPT, variando le dimensioni del modello di base (1,5B--13B), le fonti dei dati e la quantità di dati di imitazione (0,3M--150M token). Successivamente, valutiamo i modelli utilizzando valutatori umani e benchmark canonici di NLP. Inizialmente, siamo rimasti sorpresi dalla qualità degli output dei nostri modelli di imitazione: sembrano molto migliori nel seguire le istruzioni, e i valutatori umani considerano i loro output competitivi rispetto a ChatGPT. Tuttavia, conducendo valutazioni automatiche più mirate, scopriamo che i modelli di imitazione riducono poco o nulla il divario tra il modello di base e ChatGPT su compiti che non sono ampiamente supportati nei dati di imitazione. Dimostriamo che queste discrepanze di prestazione possono sfuggire ai valutatori umani perché i modelli di imitazione sono abili nel mimare lo stile di ChatGPT, ma non la sua accuratezza fattuale. In conclusione, riteniamo che l'imitazione dei modelli sia una falsa promessa: esiste un divario sostanziale nelle capacità tra i modelli linguistici open e quelli chiusi che, con i metodi attuali, può essere colmato solo utilizzando una quantità ingombrante di dati di imitazione o modelli di base più capaci. A sua volta, sosteniamo che l'azione più efficace per migliorare i modelli open-source sia affrontare la difficile sfida di sviluppare modelli di base migliori, piuttosto che prendere la scorciatoia di imitare i sistemi proprietari.

English

An emerging method to cheaply improve a weaker language model is to finetune it on outputs from a stronger model, such as a proprietary system like ChatGPT (e.g., Alpaca, Self-Instruct, and others). This approach looks to cheaply imitate the proprietary model's capabilities using a weaker open-source model. In this work, we critically analyze this approach. We first finetune a series of LMs that imitate ChatGPT using varying base model sizes (1.5B--13B), data sources, and imitation data amounts (0.3M--150M tokens). We then evaluate the models using crowd raters and canonical NLP benchmarks. Initially, we were surprised by the output quality of our imitation models -- they appear far better at following instructions, and crowd workers rate their outputs as competitive with ChatGPT. However, when conducting more targeted automatic evaluations, we find that imitation models close little to none of the gap from the base LM to ChatGPT on tasks that are not heavily supported in the imitation data. We show that these performance discrepancies may slip past human raters because imitation models are adept at mimicking ChatGPT's style but not its factuality. Overall, we conclude that model imitation is a false promise: there exists a substantial capabilities gap between open and closed LMs that, with current methods, can only be bridged using an unwieldy amount of imitation data or by using more capable base LMs. In turn, we argue that the highest leverage action for improving open-source models is to tackle the difficult challenge of developing better base LMs, rather than taking the shortcut of imitating proprietary systems.