Ripensare i Modelli Linguistici Aumentati con Recupero per Rispondere alle Query
Reimagining Retrieval Augmented Language Models for Answering Queries
June 1, 2023
Autori: Wang-Chiew Tan, Yuliang Li, Pedro Rodriguez, Richard James, Xi Victoria Lin, Alon Halevy, Scott Yih
cs.AI
Abstract
Presentiamo una verifica della realtà sui modelli linguistici di grandi dimensioni e analizziamo, in confronto, le promesse dei modelli linguistici potenziati con il retrieval. Tali modelli linguistici sono semi-parametrici, in quanto integrano parametri del modello e conoscenze provenienti da fonti di dati esterne per effettuare le loro previsioni, a differenza della natura parametrica dei tradizionali modelli linguistici di grandi dimensioni. Forniamo risultati sperimentali iniziali che dimostrano come le architetture semi-parametriche possano essere potenziate con viste, un analizzatore/pianificatore di query e la provenienza dei dati, per creare un sistema significativamente più potente per il question answering in termini di accuratezza ed efficienza, e potenzialmente per altre attività di NLP.
English
We present a reality check on large language models and inspect the promise
of retrieval augmented language models in comparison. Such language models are
semi-parametric, where models integrate model parameters and knowledge from
external data sources to make their predictions, as opposed to the parametric
nature of vanilla large language models. We give initial experimental findings
that semi-parametric architectures can be enhanced with views, a query
analyzer/planner, and provenance to make a significantly more powerful system
for question answering in terms of accuracy and efficiency, and potentially for
other NLP tasks