Programmi di Modelli Linguistici di Grande Scala
Large Language Model Programs
May 9, 2023
Autori: Imanol Schlag, Sainbayar Sukhbaatar, Asli Celikyilmaz, Wen-tau Yih, Jason Weston, Jürgen Schmidhuber, Xian Li
cs.AI
Abstract
Negli ultimi anni, i grandi modelli linguistici pre-addestrati (LLM) hanno dimostrato la capacità di seguire istruzioni e svolgere nuovi compiti a partire da pochi esempi. La possibilità di parametrizzare un LLM attraverso tali esempi in contesto amplia le sue capacità a un costo molto inferiore rispetto al fine-tuning. Estendiamo questa linea di ragionamento e presentiamo un metodo che espande ulteriormente le capacità di un LLM incorporandolo all'interno di un algoritmo o programma. Per dimostrare i vantaggi di questo approccio, presentiamo un esempio illustrativo di risposta a domande supportata da evidenze. Otteniamo un miglioramento del 6,4% rispetto alla baseline del ragionamento a catena attraverso un approccio più algoritmico senza alcun fine-tuning. Inoltre, evidenziamo lavori recenti da questa prospettiva e discutiamo i vantaggi e gli svantaggi rispetto agli approcci standard.
English
In recent years, large pre-trained language models (LLMs) have demonstrated
the ability to follow instructions and perform novel tasks from a few examples.
The possibility to parameterise an LLM through such in-context examples widens
their capability at a much lower cost than finetuning. We extend this line of
reasoning and present a method which further expands the capabilities of an LLM
by embedding it within an algorithm or program. To demonstrate the benefits of
this approach, we present an illustrative example of evidence-supported
question-answering. We obtain a 6.4\% improvement over the chain of thought
baseline through a more algorithmic approach without any finetuning.
Furthermore, we highlight recent work from this perspective and discuss the
advantages and disadvantages in comparison to the standard approaches.