Réinventer les modèles de langage augmentés par la récupération pour répondre aux requêtes
Reimagining Retrieval Augmented Language Models for Answering Queries
June 1, 2023
Auteurs: Wang-Chiew Tan, Yuliang Li, Pedro Rodriguez, Richard James, Xi Victoria Lin, Alon Halevy, Scott Yih
cs.AI
Résumé
Nous proposons un état des lieux des grands modèles de langage et examinons, en comparaison, le potentiel des modèles de langage augmentés par recherche. Ces modèles de langage sont semi-paramétriques, intégrant à la fois des paramètres de modèle et des connaissances provenant de sources de données externes pour effectuer leurs prédictions, contrairement à la nature paramétrique des grands modèles de langage classiques. Nous présentons des résultats expérimentaux préliminaires montrant que les architectures semi-paramétriques peuvent être améliorées grâce à des vues, un analyseur/planificateur de requêtes et des informations de provenance, permettant de créer un système bien plus performant pour les tâches de question-réponse en termes de précision et d'efficacité, et potentiellement pour d'autres tâches de traitement du langage naturel.
English
We present a reality check on large language models and inspect the promise
of retrieval augmented language models in comparison. Such language models are
semi-parametric, where models integrate model parameters and knowledge from
external data sources to make their predictions, as opposed to the parametric
nature of vanilla large language models. We give initial experimental findings
that semi-parametric architectures can be enhanced with views, a query
analyzer/planner, and provenance to make a significantly more powerful system
for question answering in terms of accuracy and efficiency, and potentially for
other NLP tasks