Reimaginando los Modelos de Lenguaje Aumentados con Recuperación para Responder Consultas
Reimagining Retrieval Augmented Language Models for Answering Queries
June 1, 2023
Autores: Wang-Chiew Tan, Yuliang Li, Pedro Rodriguez, Richard James, Xi Victoria Lin, Alon Halevy, Scott Yih
cs.AI
Resumen
Presentamos una evaluación realista sobre los modelos de lenguaje de gran escala y examinamos, en comparación, las promesas de los modelos de lenguaje aumentados con recuperación. Dichos modelos de lenguaje son semi-paramétricos, donde los modelos integran parámetros del modelo y conocimiento de fuentes de datos externas para realizar sus predicciones, a diferencia de la naturaleza paramétrica de los modelos de lenguaje de gran escala convencionales. Proporcionamos hallazgos experimentales iniciales que indican que las arquitecturas semi-paramétricas pueden mejorarse con vistas, un analizador/planificador de consultas y trazabilidad para crear un sistema significativamente más potente en términos de precisión y eficiencia para tareas de respuesta a preguntas, y potencialmente para otras tareas de procesamiento del lenguaje natural (NLP).
English
We present a reality check on large language models and inspect the promise
of retrieval augmented language models in comparison. Such language models are
semi-parametric, where models integrate model parameters and knowledge from
external data sources to make their predictions, as opposed to the parametric
nature of vanilla large language models. We give initial experimental findings
that semi-parametric architectures can be enhanced with views, a query
analyzer/planner, and provenance to make a significantly more powerful system
for question answering in terms of accuracy and efficiency, and potentially for
other NLP tasks