Die trügerische Verheißung der Nachahmung proprietärer LLMs

Zusammenfassung

Eine aufkommende Methode, um ein schwächeres Sprachmodell kostengünstig zu verbessern, besteht darin, es auf den Ausgaben eines stärkeren Modells, wie beispielsweise eines proprietären Systems wie ChatGPT (z.B. Alpaca, Self-Instruct und andere), zu finetunen. Dieser Ansatz zielt darauf ab, die Fähigkeiten des proprietären Modells kostengünstig mit einem schwächeren Open-Source-Modell nachzuahmen. In dieser Arbeit analysieren wir diesen Ansatz kritisch. Zunächst finetunen wir eine Reihe von Sprachmodellen, die ChatGPT nachahmen, unter Verwendung verschiedener Basismodellgrößen (1,5B–13B), Datenquellen und Nachahmungsdatenmengen (0,3M–150M Tokens). Anschließend bewerten wir die Modelle mithilfe von Crowd-Bewertern und kanonischen NLP-Benchmarks. Anfangs waren wir überrascht von der Ausgabequalität unserer Nachahmungsmodelle – sie scheinen weitaus besser darin zu sein, Anweisungen zu befolgen, und Crowd-Mitarbeiter bewerten ihre Ausgaben als konkurrenzfähig mit ChatGPT. Bei gezielteren automatischen Bewertungen stellen wir jedoch fest, dass Nachahmungsmodelle die Lücke zwischen dem Basismodell und ChatGPT bei Aufgaben, die in den Nachahmungsdaten nicht stark unterstützt werden, kaum oder gar nicht schließen. Wir zeigen, dass diese Leistungsunterschiede menschliche Bewerter übersehen können, da Nachahmungsmodelle geschickt darin sind, den Stil von ChatGPT nachzuahmen, nicht jedoch dessen Faktenkorrektheit. Insgesamt kommen wir zu dem Schluss, dass die Modellnachahmung eine trügerische Verheißung ist: Es besteht eine erhebliche Fähigkeitslücke zwischen Open- und Closed-Source-Sprachmodellen, die mit aktuellen Methoden nur durch eine unhandliche Menge an Nachahmungsdaten oder durch leistungsfähigere Basismodelle überbrückt werden kann. Daher argumentieren wir, dass die wirkungsvollste Maßnahme zur Verbesserung von Open-Source-Modellen darin besteht, die schwierige Herausforderung der Entwicklung besserer Basismodelle anzugehen, anstatt den kurzen Weg der Nachahmung proprietärer Systeme zu wählen.

English

An emerging method to cheaply improve a weaker language model is to finetune it on outputs from a stronger model, such as a proprietary system like ChatGPT (e.g., Alpaca, Self-Instruct, and others). This approach looks to cheaply imitate the proprietary model's capabilities using a weaker open-source model. In this work, we critically analyze this approach. We first finetune a series of LMs that imitate ChatGPT using varying base model sizes (1.5B--13B), data sources, and imitation data amounts (0.3M--150M tokens). We then evaluate the models using crowd raters and canonical NLP benchmarks. Initially, we were surprised by the output quality of our imitation models -- they appear far better at following instructions, and crowd workers rate their outputs as competitive with ChatGPT. However, when conducting more targeted automatic evaluations, we find that imitation models close little to none of the gap from the base LM to ChatGPT on tasks that are not heavily supported in the imitation data. We show that these performance discrepancies may slip past human raters because imitation models are adept at mimicking ChatGPT's style but not its factuality. Overall, we conclude that model imitation is a false promise: there exists a substantial capabilities gap between open and closed LMs that, with current methods, can only be bridged using an unwieldy amount of imitation data or by using more capable base LMs. In turn, we argue that the highest leverage action for improving open-source models is to tackle the difficult challenge of developing better base LMs, rather than taking the shortcut of imitating proprietary systems.

Die trügerische Verheißung der Nachahmung proprietärer LLMs

The False Promise of Imitating Proprietary LLMs

Zusammenfassung

Support