クエリ応答のための検索拡張言語モデルの再考
Reimagining Retrieval Augmented Language Models for Answering Queries
June 1, 2023
著者: Wang-Chiew Tan, Yuliang Li, Pedro Rodriguez, Richard James, Xi Victoria Lin, Alon Halevy, Scott Yih
cs.AI
要旨
大規模言語モデルに関する現状評価を行い、それと比較して検索拡張型言語モデルの可能性を検証します。このような言語モデルは半パラメトリックであり、従来のパラメトリックな大規模言語モデルとは異なり、モデルパラメータと外部データソースからの知識を統合して予測を行います。初期の実験結果から、半パラメトリックアーキテクチャはビュー、クエリアナライザ/プランナー、およびプロバナンスを組み合わせることで、質問応答タスクにおける精度と効率の両面で大幅に強力なシステムを構築できる可能性があり、他の自然言語処理タスクにも応用できることが示唆されています。
English
We present a reality check on large language models and inspect the promise
of retrieval augmented language models in comparison. Such language models are
semi-parametric, where models integrate model parameters and knowledge from
external data sources to make their predictions, as opposed to the parametric
nature of vanilla large language models. We give initial experimental findings
that semi-parametric architectures can be enhanced with views, a query
analyzer/planner, and provenance to make a significantly more powerful system
for question answering in terms of accuracy and efficiency, and potentially for
other NLP tasks