Переосмысление языковых моделей с расширенным поиском для ответов на запросы
Reimagining Retrieval Augmented Language Models for Answering Queries
June 1, 2023
Авторы: Wang-Chiew Tan, Yuliang Li, Pedro Rodriguez, Richard James, Xi Victoria Lin, Alon Halevy, Scott Yih
cs.AI
Аннотация
Мы представляем критический анализ крупных языковых моделей и исследуем перспективы моделей языка, дополненных механизмом извлечения информации. Такие языковые модели являются полупараметрическими, где модели интегрируют параметры модели и знания из внешних источников данных для формирования предсказаний, в отличие от параметрической природы стандартных крупных языковых моделей. Мы приводим предварительные экспериментальные результаты, показывающие, что полупараметрические архитектуры могут быть улучшены за счет использования представлений, анализатора/планировщика запросов и отслеживания происхождения данных, что позволяет создать значительно более мощную систему для ответов на вопросы с точки зрения точности и эффективности, а также, потенциально, для других задач обработки естественного языка.
English
We present a reality check on large language models and inspect the promise
of retrieval augmented language models in comparison. Such language models are
semi-parametric, where models integrate model parameters and knowledge from
external data sources to make their predictions, as opposed to the parametric
nature of vanilla large language models. We give initial experimental findings
that semi-parametric architectures can be enhanced with views, a query
analyzer/planner, and provenance to make a significantly more powerful system
for question answering in terms of accuracy and efficiency, and potentially for
other NLP tasks