Leren om in-context voorbeelden op te halen voor grote taalmodellen

Learning to Retrieve In-Context Examples for Large Language Models

July 14, 2023

Auteurs: Liang Wang, Nan Yang, Furu Wei

cs.AI

Samenvatting

Grote taalmodellen (LLMs) hebben hun vermogen getoond om in-context te leren, waardoor ze diverse taken kunnen uitvoeren op basis van enkele invoer-uitvoervoorbeelden. De effectiviteit van in-context leren is echter sterk afhankelijk van de kwaliteit van de geselecteerde voorbeelden. In dit artikel stellen we een nieuw raamwerk voor om iteratief dense retrievers te trainen die hoogwaardige in-contextvoorbeelden voor LLMs kunnen identificeren. Ons raamwerk traint eerst een beloningsmodel op basis van feedback van het LLM om de kwaliteit van kandidaatvoorbeelden te evalueren, gevolgd door kennisdistillatie om een bi-encoder gebaseerde dense retriever te trainen. Onze experimenten op een reeks van 30 taken tonen aan dat ons raamwerk de prestaties van in-context leren aanzienlijk verbetert. Bovendien laten we zien dat ons raamwerk generalisatievermogen heeft naar onbekende taken tijdens de training. Een diepgaande analyse onthult dat ons model de prestaties verbetert door voorbeelden met vergelijkbare patronen op te halen, en dat de verbeteringen consistent zijn over LLMs van verschillende groottes.

English

Large language models (LLMs) have demonstrated their ability to learn in-context, allowing them to perform various tasks based on a few input-output examples. However, the effectiveness of in-context learning is heavily reliant on the quality of the selected examples. In this paper, we propose a novel framework to iteratively train dense retrievers that can identify high-quality in-context examples for LLMs. Our framework initially trains a reward model based on LLM feedback to evaluate the quality of candidate examples, followed by knowledge distillation to train a bi-encoder based dense retriever. Our experiments on a suite of 30 tasks demonstrate that our framework significantly enhances in-context learning performance. Furthermore, we show the generalization ability of our framework to unseen tasks during training. An in-depth analysis reveals that our model improves performance by retrieving examples with similar patterns, and the gains are consistent across LLMs of varying sizes.