Программы на основе больших языковых моделей
Large Language Model Programs
May 9, 2023
Авторы: Imanol Schlag, Sainbayar Sukhbaatar, Asli Celikyilmaz, Wen-tau Yih, Jason Weston, Jürgen Schmidhuber, Xian Li
cs.AI
Аннотация
В последние годы крупные предобученные языковые модели (LLM) продемонстрировали способность следовать инструкциям и выполнять новые задачи на основе нескольких примеров. Возможность параметризации LLM с помощью таких контекстных примеров расширяет их функциональность с гораздо меньшими затратами, чем тонкая настройка. Мы развиваем эту идею и представляем метод, который дополнительно расширяет возможности LLM, интегрируя её в алгоритм или программу. Чтобы продемонстрировать преимущества этого подхода, мы приводим иллюстративный пример ответов на вопросы с опорой на доказательства. Мы достигаем улучшения на 6,4% по сравнению с базовым методом цепочки рассуждений благодаря более алгоритмическому подходу без какой-либо тонкой настройки. Кроме того, мы рассматриваем недавние исследования с этой точки зрения и обсуждаем преимущества и недостатки в сравнении со стандартными подходами.
English
In recent years, large pre-trained language models (LLMs) have demonstrated
the ability to follow instructions and perform novel tasks from a few examples.
The possibility to parameterise an LLM through such in-context examples widens
their capability at a much lower cost than finetuning. We extend this line of
reasoning and present a method which further expands the capabilities of an LLM
by embedding it within an algorithm or program. To demonstrate the benefits of
this approach, we present an illustrative example of evidence-supported
question-answering. We obtain a 6.4\% improvement over the chain of thought
baseline through a more algorithmic approach without any finetuning.
Furthermore, we highlight recent work from this perspective and discuss the
advantages and disadvantages in comparison to the standard approaches.