大規模言語モデルプログラム

要旨

近年、大規模な事前学習済み言語モデル（LLM）は、少数の例から指示に従い新規タスクを遂行する能力を示してきた。このような文脈内の例を通じてLLMをパラメータ化する可能性は、ファインチューニングよりもはるかに低コストでその能力を拡大する。我々はこの論理をさらに拡張し、LLMをアルゴリズムやプログラムに組み込むことでその能力をさらに拡張する手法を提案する。このアプローチの利点を示すため、証拠に基づく質問応答の具体例を提示する。アルゴリズム的なアプローチにより、ファインチューニングなしでチェーン・オブ・ソートのベースラインを6.4%改善した。さらに、この視点から最近の研究を紹介し、標準的なアプローチとの比較における利点と欠点について議論する。

English

In recent years, large pre-trained language models (LLMs) have demonstrated the ability to follow instructions and perform novel tasks from a few examples. The possibility to parameterise an LLM through such in-context examples widens their capability at a much lower cost than finetuning. We extend this line of reasoning and present a method which further expands the capabilities of an LLM by embedding it within an algorithm or program. To demonstrate the benefits of this approach, we present an illustrative example of evidence-supported question-answering. We obtain a 6.4\% improvement over the chain of thought baseline through a more algorithmic approach without any finetuning. Furthermore, we highlight recent work from this perspective and discuss the advantages and disadvantages in comparison to the standard approaches.

大規模言語モデルプログラム

Large Language Model Programs

要旨

Support