Neugestaltung von Retrieval-Augmented Language Models zur Beantwortung von Anfragen
Reimagining Retrieval Augmented Language Models for Answering Queries
June 1, 2023
Autoren: Wang-Chiew Tan, Yuliang Li, Pedro Rodriguez, Richard James, Xi Victoria Lin, Alon Halevy, Scott Yih
cs.AI
Zusammenfassung
Wir präsentieren eine Realitätsprüfung von großen Sprachmodellen und untersuchen im Vergleich das Potenzial von retrieval-augmentierten Sprachmodellen. Solche Sprachmodelle sind semi-parametrisch, wobei die Modelle Modellparameter und Wissen aus externen Datenquellen integrieren, um ihre Vorhersagen zu treffen, im Gegensatz zur parametrischen Natur von herkömmlichen großen Sprachmodellen. Wir präsentieren erste experimentelle Ergebnisse, die zeigen, dass semi-parametrische Architekturen durch Ansichten, einen Abfrageanalysator/-planer und Provenienz erweitert werden können, um ein deutlich leistungsfähigeres System für Frage-Antwort-Aufgaben in Bezug auf Genauigkeit und Effizienz zu schaffen, und potenziell auch für andere NLP-Aufgaben.
English
We present a reality check on large language models and inspect the promise
of retrieval augmented language models in comparison. Such language models are
semi-parametric, where models integrate model parameters and knowledge from
external data sources to make their predictions, as opposed to the parametric
nature of vanilla large language models. We give initial experimental findings
that semi-parametric architectures can be enhanced with views, a query
analyzer/planner, and provenance to make a significantly more powerful system
for question answering in terms of accuracy and efficiency, and potentially for
other NLP tasks