Aprendizado de Máquina Aprimorado por Recuperação: Síntese e Oportunidades

Retrieval-Enhanced Machine Learning: Synthesis and Opportunities

July 17, 2024

Autores: To Eun Kim, Alireza Salemi, Andrew Drozdov, Fernando Diaz, Hamed Zamani

cs.AI

Resumo

No campo do modelamento de linguagem, modelos aumentados com componentes de recuperação surgiram como uma solução promissora para lidar com vários desafios enfrentados no campo do processamento de linguagem natural (PLN), incluindo fundamentação de conhecimento, interpretabilidade e escalabilidade. Apesar do foco principal em PLN, afirmamos que o paradigma de aprimoramento por recuperação pode ser estendido para um espectro mais amplo de aprendizado de máquina (AM), como visão computacional, previsão de séries temporais e biologia computacional. Portanto, este trabalho introduz um framework formal desse paradigma, Aprendizado de Máquina Aprimorado por Recuperação (AMAR), sintetizando a literatura em vários domínios em AM com notações consistentes que estão ausentes na literatura atual. Além disso, descobrimos que, embora vários estudos empreguem componentes de recuperação para aprimorar seus modelos, há uma falta de integração com a pesquisa fundamental em Recuperação de Informação (RI). Nós preenchemos essa lacuna entre a pesquisa seminal em RI e os estudos contemporâneos de AMAR investigando cada componente que compõe o framework do AMAR. Em última análise, o objetivo deste trabalho é capacitar pesquisadores em várias disciplinas com um framework abrangente e formalmente estruturado de modelos aprimorados por recuperação, promovendo assim pesquisas interdisciplinares futuras.

English

In the field of language modeling, models augmented with retrieval components have emerged as a promising solution to address several challenges faced in the natural language processing (NLP) field, including knowledge grounding, interpretability, and scalability. Despite the primary focus on NLP, we posit that the paradigm of retrieval-enhancement can be extended to a broader spectrum of machine learning (ML) such as computer vision, time series prediction, and computational biology. Therefore, this work introduces a formal framework of this paradigm, Retrieval-Enhanced Machine Learning (REML), by synthesizing the literature in various domains in ML with consistent notations which is missing from the current literature. Also, we found that while a number of studies employ retrieval components to augment their models, there is a lack of integration with foundational Information Retrieval (IR) research. We bridge this gap between the seminal IR research and contemporary REML studies by investigating each component that comprises the REML framework. Ultimately, the goal of this work is to equip researchers across various disciplines with a comprehensive, formally structured framework of retrieval-enhanced models, thereby fostering interdisciplinary future research.