대형 언어 모델 프로그램

초록

최근 대규모 사전 학습 언어 모델(LLM)은 몇 가지 예시만으로도 지시를 따르고 새로운 작업을 수행할 수 있는 능력을 보여주었다. 이러한 맥락 내 예시를 통해 LLM을 매개변수화할 수 있는 가능성은 파인튜닝보다 훨씬 낮은 비용으로 그 능력을 확장한다. 우리는 이러한 논리를 확장하여 LLM을 알고리즘이나 프로그램 내에 내장함으로써 그 능력을 더욱 확장하는 방법을 제시한다. 이 접근법의 이점을 입증하기 위해, 증거 기반 질문-응답의 예시를 제시한다. 우리는 알고리즘적 접근을 통해 파인튜닝 없이도 사고의 연쇄(chain of thought) 기준선 대비 6.4%의 개선을 달성했다. 또한, 이 관점에서 최근 연구를 강조하고 표준 접근법과 비교하여 장단점을 논의한다.

English

In recent years, large pre-trained language models (LLMs) have demonstrated the ability to follow instructions and perform novel tasks from a few examples. The possibility to parameterise an LLM through such in-context examples widens their capability at a much lower cost than finetuning. We extend this line of reasoning and present a method which further expands the capabilities of an LLM by embedding it within an algorithm or program. To demonstrate the benefits of this approach, we present an illustrative example of evidence-supported question-answering. We obtain a 6.4\% improvement over the chain of thought baseline through a more algorithmic approach without any finetuning. Furthermore, we highlight recent work from this perspective and discuss the advantages and disadvantages in comparison to the standard approaches.

대형 언어 모델 프로그램

Large Language Model Programs

초록

Support