Retrieval-Versterkt Machinaal Leren: Synthese en Mogelijkheden

Retrieval-Enhanced Machine Learning: Synthesis and Opportunities

July 17, 2024

Auteurs: To Eun Kim, Alireza Salemi, Andrew Drozdov, Fernando Diaz, Hamed Zamani

cs.AI

Samenvatting

Op het gebied van taalmodellen zijn modellen die zijn uitgebreid met retrievalsystemen naar voren gekomen als een veelbelovende oplossing voor verschillende uitdagingen in het domein van natuurlijke taalverwerking (Natural Language Processing, NLP), waaronder kennisverankering, interpreteerbaarheid en schaalbaarheid. Hoewel de primaire focus op NLP ligt, stellen wij dat het paradigma van retrieval-verbetering kan worden uitgebreid naar een breder spectrum van machine learning (ML), zoals computervisie, tijdreeksvoorspelling en computationele biologie. Daarom introduceert dit werk een formeel kader voor dit paradigma, Retrieval-Enhanced Machine Learning (REML), door de literatuur uit verschillende ML-domeinen te synthetiseren met consistente notaties die momenteel ontbreken in de bestaande literatuur. Tevens hebben wij vastgesteld dat, hoewel een aantal studies retrievalsystemen gebruiken om hun modellen te versterken, er een gebrek is aan integratie met fundamenteel onderzoek op het gebied van informatie retrieval (Information Retrieval, IR). Wij overbruggen deze kloof tussen baanbrekend IR-onderzoek en hedendaagse REML-studies door elk onderdeel van het REML-kader te onderzoeken. Uiteindelijk is het doel van dit werk om onderzoekers uit verschillende disciplines uit te rusten met een uitgebreid, formeel gestructureerd kader voor retrieval-verbeterde modellen, waardoor interdisciplinair toekomstig onderzoek wordt bevorderd.

English

In the field of language modeling, models augmented with retrieval components have emerged as a promising solution to address several challenges faced in the natural language processing (NLP) field, including knowledge grounding, interpretability, and scalability. Despite the primary focus on NLP, we posit that the paradigm of retrieval-enhancement can be extended to a broader spectrum of machine learning (ML) such as computer vision, time series prediction, and computational biology. Therefore, this work introduces a formal framework of this paradigm, Retrieval-Enhanced Machine Learning (REML), by synthesizing the literature in various domains in ML with consistent notations which is missing from the current literature. Also, we found that while a number of studies employ retrieval components to augment their models, there is a lack of integration with foundational Information Retrieval (IR) research. We bridge this gap between the seminal IR research and contemporary REML studies by investigating each component that comprises the REML framework. Ultimately, the goal of this work is to equip researchers across various disciplines with a comprehensive, formally structured framework of retrieval-enhanced models, thereby fostering interdisciplinary future research.