Lernen, In-Context-Beispiele für große Sprachmodelle abzurufen
Learning to Retrieve In-Context Examples for Large Language Models
July 14, 2023
Autoren: Liang Wang, Nan Yang, Furu Wei
cs.AI
Zusammenfassung
Große Sprachmodelle (LLMs) haben ihre Fähigkeit bewiesen, im Kontext zu lernen, was es ihnen ermöglicht, verschiedene Aufgaben basierend auf wenigen Eingabe-Ausgabe-Beispielen auszuführen. Die Effektivität des Lernens im Kontext hängt jedoch stark von der Qualität der ausgewählten Beispiele ab. In diesem Artikel schlagen wir ein neuartiges Framework vor, um dichte Retriever iterativ zu trainieren, die hochwertige Beispiele für das Lernen im Kontext für LLMs identifizieren können. Unser Framework trainiert zunächst ein Belohnungsmodell basierend auf dem Feedback des LLMs, um die Qualität der Kandidatenbeispiele zu bewerten, gefolgt von Wissensdestillation, um einen bi-encoder-basierten dichten Retriever zu trainieren. Unsere Experimente mit einer Reihe von 30 Aufgaben zeigen, dass unser Framework die Leistung des Lernens im Kontext erheblich verbessert. Darüber hinaus demonstrieren wir die Generalisierungsfähigkeit unseres Frameworks auf während des Trainings unbekannte Aufgaben. Eine detaillierte Analyse zeigt, dass unser Modell die Leistung verbessert, indem es Beispiele mit ähnlichen Mustern abruft, und die Gewinne sind konsistent über LLMs unterschiedlicher Größe hinweg.
English
Large language models (LLMs) have demonstrated their ability to learn
in-context, allowing them to perform various tasks based on a few input-output
examples. However, the effectiveness of in-context learning is heavily reliant
on the quality of the selected examples. In this paper, we propose a novel
framework to iteratively train dense retrievers that can identify high-quality
in-context examples for LLMs. Our framework initially trains a reward model
based on LLM feedback to evaluate the quality of candidate examples, followed
by knowledge distillation to train a bi-encoder based dense retriever. Our
experiments on a suite of 30 tasks demonstrate that our framework significantly
enhances in-context learning performance. Furthermore, we show the
generalization ability of our framework to unseen tasks during training. An
in-depth analysis reveals that our model improves performance by retrieving
examples with similar patterns, and the gains are consistent across LLMs of
varying sizes.