独自開発LLMの模倣がもたらす誤った約束

The False Promise of Imitating Proprietary LLMs

May 25, 2023

著者: Arnav Gudibande, Eric Wallace, Charlie Snell, Xinyang Geng, Hao Liu, Pieter Abbeel, Sergey Levine, Dawn Song

cs.AI

要旨

より弱い言語モデルを低コストで改善する新たな手法として、ChatGPTのような強力なプロプライエタリシステムからの出力を用いてファインチューニングする方法が注目されている（例：Alpaca、Self-Instructなど）。このアプローチは、弱いオープンソースモデルを使ってプロプライエタリモデルの能力を低コストで模倣することを目指している。本研究では、このアプローチを批判的に分析する。まず、ベースモデルのサイズ（1.5B～13B）、データソース、および模倣データ量（0.3M～150Mトークン）を変えて、ChatGPTを模倣する一連の言語モデルをファインチューニングした。次に、クラウドワーカーによる評価と標準的なNLPベンチマークを用いてモデルを評価した。当初、模倣モデルの出力品質に驚かされた――指示に従う能力が非常に高く、クラウドワーカーはその出力をChatGPTと競合すると評価した。しかし、よりターゲットを絞った自動評価を行うと、模倣データで十分にサポートされていないタスクにおいて、模倣モデルはベースモデルからChatGPTまでのギャップをほとんど埋められないことがわかった。これらの性能の不一致は、模倣モデルがChatGPTのスタイルを巧みに真似るが、その事実性を再現できないため、人間の評価者に見逃される可能性があることを示す。全体として、モデルの模倣は偽りの約束であると結論付ける：現在の手法では、膨大な量の模倣データを使用するか、より能力の高いベースモデルを使用するしか、オープンとクローズドの言語モデルの間にある大きな能力のギャップを埋めることはできない。そのため、オープンソースモデルを改善するための最も効果的なアクションは、プロプライエタリシステムを模倣するという近道を選ぶのではなく、より優れたベースモデルを開発するという難しい課題に取り組むことであると主張する。

English

An emerging method to cheaply improve a weaker language model is to finetune it on outputs from a stronger model, such as a proprietary system like ChatGPT (e.g., Alpaca, Self-Instruct, and others). This approach looks to cheaply imitate the proprietary model's capabilities using a weaker open-source model. In this work, we critically analyze this approach. We first finetune a series of LMs that imitate ChatGPT using varying base model sizes (1.5B--13B), data sources, and imitation data amounts (0.3M--150M tokens). We then evaluate the models using crowd raters and canonical NLP benchmarks. Initially, we were surprised by the output quality of our imitation models -- they appear far better at following instructions, and crowd workers rate their outputs as competitive with ChatGPT. However, when conducting more targeted automatic evaluations, we find that imitation models close little to none of the gap from the base LM to ChatGPT on tasks that are not heavily supported in the imitation data. We show that these performance discrepancies may slip past human raters because imitation models are adept at mimicking ChatGPT's style but not its factuality. Overall, we conclude that model imitation is a false promise: there exists a substantial capabilities gap between open and closed LMs that, with current methods, can only be bridged using an unwieldy amount of imitation data or by using more capable base LMs. In turn, we argue that the highest leverage action for improving open-source models is to tackle the difficult challenge of developing better base LMs, rather than taking the shortcut of imitating proprietary systems.