Het Heruitvinden van Retrieval-augmented Taalmodellen voor het Beantwoorden van Vragen
Reimagining Retrieval Augmented Language Models for Answering Queries
June 1, 2023
Auteurs: Wang-Chiew Tan, Yuliang Li, Pedro Rodriguez, Richard James, Xi Victoria Lin, Alon Halevy, Scott Yih
cs.AI
Samenvatting
We presenteren een realiteitscheck over grote taalmodellen en onderzoeken in vergelijking de belofte van retrieval-augmented taalmodellen. Dergelijke taalmodellen zijn semi-parametrisch, waarbij modellen modelparameters en kennis uit externe gegevensbronnen integreren om hun voorspellingen te maken, in tegenstelling tot de parametrische aard van standaard grote taalmodellen. We presenteren eerste experimentele bevindingen dat semi-parametrische architecturen kunnen worden verbeterd met views, een query-analyzer/planner en provenance om een aanzienlijk krachtiger systeem te creëren voor vraagbeantwoording wat betreft nauwkeurigheid en efficiëntie, en mogelijk ook voor andere NLP-taken.
English
We present a reality check on large language models and inspect the promise
of retrieval augmented language models in comparison. Such language models are
semi-parametric, where models integrate model parameters and knowledge from
external data sources to make their predictions, as opposed to the parametric
nature of vanilla large language models. We give initial experimental findings
that semi-parametric architectures can be enhanced with views, a query
analyzer/planner, and provenance to make a significantly more powerful system
for question answering in terms of accuracy and efficiency, and potentially for
other NLP tasks