Reimaginando Modelos de Linguagem Aumentados por Recuperação para Responder a Consultas
Reimagining Retrieval Augmented Language Models for Answering Queries
June 1, 2023
Autores: Wang-Chiew Tan, Yuliang Li, Pedro Rodriguez, Richard James, Xi Victoria Lin, Alon Halevy, Scott Yih
cs.AI
Resumo
Apresentamos uma avaliação realista sobre modelos de linguagem de grande escala e examinamos a promessa dos modelos de linguagem aumentados por recuperação em comparação. Tais modelos de linguagem são semiparamétricos, onde os modelos integram parâmetros do modelo e conhecimento de fontes de dados externas para fazer suas previsões, em contraste com a natureza paramétrica dos modelos de linguagem de grande escala convencionais. Fornecemos resultados experimentais iniciais que mostram que arquiteturas semiparamétricas podem ser aprimoradas com visões, um analisador/planejador de consultas e proveniência para criar um sistema significativamente mais poderoso para tarefas de resposta a perguntas em termos de precisão e eficiência, e potencialmente para outras tarefas de PLN.
English
We present a reality check on large language models and inspect the promise
of retrieval augmented language models in comparison. Such language models are
semi-parametric, where models integrate model parameters and knowledge from
external data sources to make their predictions, as opposed to the parametric
nature of vanilla large language models. We give initial experimental findings
that semi-parametric architectures can be enhanced with views, a query
analyzer/planner, and provenance to make a significantly more powerful system
for question answering in terms of accuracy and efficiency, and potentially for
other NLP tasks