Grote Taalmodel Programma's
Large Language Model Programs
May 9, 2023
Auteurs: Imanol Schlag, Sainbayar Sukhbaatar, Asli Celikyilmaz, Wen-tau Yih, Jason Weston, Jürgen Schmidhuber, Xian Li
cs.AI
Samenvatting
In de afgelopen jaren hebben grote vooraf getrainde taalmodelen (LLM's) het vermogen getoond om instructies op te volgen en nieuwe taken uit te voeren aan de hand van enkele voorbeelden. De mogelijkheid om een LLM te parametriseren via dergelijke in-context voorbeelden vergroot hun capaciteiten tegen veel lagere kosten dan finetuning. We breiden deze redenering uit en presenteren een methode die de mogelijkheden van een LLM verder uitbreidt door het in te bedden in een algoritme of programma. Om de voordelen van deze aanpak te demonstreren, presenteren we een illustratief voorbeeld van bewijsondersteund vraag-antwoord. We behalen een verbetering van 6,4% ten opzichte van de baseline van de keten van gedachten door een meer algoritmische aanpak zonder enige finetuning. Daarnaast belichten we recent werk vanuit dit perspectief en bespreken we de voor- en nadelen in vergelijking met de standaardbenaderingen.
English
In recent years, large pre-trained language models (LLMs) have demonstrated
the ability to follow instructions and perform novel tasks from a few examples.
The possibility to parameterise an LLM through such in-context examples widens
their capability at a much lower cost than finetuning. We extend this line of
reasoning and present a method which further expands the capabilities of an LLM
by embedding it within an algorithm or program. To demonstrate the benefits of
this approach, we present an illustrative example of evidence-supported
question-answering. We obtain a 6.4\% improvement over the chain of thought
baseline through a more algorithmic approach without any finetuning.
Furthermore, we highlight recent work from this perspective and discuss the
advantages and disadvantages in comparison to the standard approaches.