질의 응답을 위한 검색 증강 언어 모델 재구상
Reimagining Retrieval Augmented Language Models for Answering Queries
June 1, 2023
저자: Wang-Chiew Tan, Yuliang Li, Pedro Rodriguez, Richard James, Xi Victoria Lin, Alon Halevy, Scott Yih
cs.AI
초록
우리는 대규모 언어 모델에 대한 현실 점검을 제시하고, 이와 비교하여 검색 강화 언어 모델의 가능성을 살펴본다. 이러한 언어 모델은 반파라메트릭(semi-parametric) 특성을 지니며, 모델 파라미터와 외부 데이터 소스의 지식을 통합하여 예측을 수행한다. 이는 기존의 파라메트릭(parametric) 대규모 언어 모델과는 대조적이다. 우리는 초기 실험 결과를 통해 반파라메트릭 아키텍처가 뷰(view), 쿼리 분석기/플래너(query analyzer/planner), 그리고 출처 정보(provenance)를 통해 강화될 수 있음을 보여준다. 이를 통해 질의 응답 작업에서 정확성과 효율성 측면에서 훨씬 더 강력한 시스템을 구축할 수 있으며, 잠재적으로 다른 자연어 처리(NLP) 작업에도 적용 가능함을 시사한다.
English
We present a reality check on large language models and inspect the promise
of retrieval augmented language models in comparison. Such language models are
semi-parametric, where models integrate model parameters and knowledge from
external data sources to make their predictions, as opposed to the parametric
nature of vanilla large language models. We give initial experimental findings
that semi-parametric architectures can be enhanced with views, a query
analyzer/planner, and provenance to make a significantly more powerful system
for question answering in terms of accuracy and efficiency, and potentially for
other NLP tasks