검색 강화 기계 학습: 통합과 기회

Retrieval-Enhanced Machine Learning: Synthesis and Opportunities

July 17, 2024

저자: To Eun Kim, Alireza Salemi, Andrew Drozdov, Fernando Diaz, Hamed Zamani

cs.AI

초록

언어 모델링 분야에서 검색 컴포넌트가 추가된 모델들은 자연어 처리(NLP) 분야에서 직면한 여러 과제, 즉 지식 기반 구축, 해석 가능성, 확장성 등을 해결하기 위한 유망한 솔루션으로 부상했습니다. NLP에 주로 초점이 맞춰져 있음에도 불구하고, 우리는 검색 강화 패러다임이 컴퓨터 비전, 시계열 예측, 계산 생물학 등과 같은 더 넓은 범위의 기계 학습(ML) 분야로 확장될 수 있다고 주장합니다. 따라서 본 연구는 다양한 ML 도메인의 문헌을 일관된 표기법으로 종합하여 현재 문헌에서 누락된 검색 강화 기계 학습(Retrieval-Enhanced Machine Learning, REML) 패러다임의 공식적인 프레임워크를 소개합니다. 또한, 많은 연구들이 모델을 강화하기 위해 검색 컴포넌트를 사용하고 있지만, 기초 정보 검색(Information Retrieval, IR) 연구와의 통합이 부족하다는 점을 발견했습니다. 우리는 REML 프레임워크를 구성하는 각 컴포넌트를 조사함으로써 선구적인 IR 연구와 현대적인 REML 연구 간의 격차를 메웁니다. 궁극적으로, 본 연구의 목표는 다양한 학문 분야의 연구자들에게 검색 강화 모델에 대한 포괄적이고 공식적으로 구조화된 프레임워크를 제공함으로써 학제 간 미래 연구를 촉진하는 것입니다.

English

In the field of language modeling, models augmented with retrieval components have emerged as a promising solution to address several challenges faced in the natural language processing (NLP) field, including knowledge grounding, interpretability, and scalability. Despite the primary focus on NLP, we posit that the paradigm of retrieval-enhancement can be extended to a broader spectrum of machine learning (ML) such as computer vision, time series prediction, and computational biology. Therefore, this work introduces a formal framework of this paradigm, Retrieval-Enhanced Machine Learning (REML), by synthesizing the literature in various domains in ML with consistent notations which is missing from the current literature. Also, we found that while a number of studies employ retrieval components to augment their models, there is a lack of integration with foundational Information Retrieval (IR) research. We bridge this gap between the seminal IR research and contemporary REML studies by investigating each component that comprises the REML framework. Ultimately, the goal of this work is to equip researchers across various disciplines with a comprehensive, formally structured framework of retrieval-enhanced models, thereby fostering interdisciplinary future research.