Verbessertes maschinelles Lernen durch Informationssuche: Synthese und Möglichkeiten

Retrieval-Enhanced Machine Learning: Synthesis and Opportunities

July 17, 2024

Autoren: To Eun Kim, Alireza Salemi, Andrew Drozdov, Fernando Diaz, Hamed Zamani

cs.AI

Zusammenfassung

Im Bereich des Sprachmodellierens sind Modelle, die mit Abrufkomponenten erweitert sind, als vielversprechende Lösung zur Bewältigung mehrerer Herausforderungen im Bereich der natürlichen Sprachverarbeitung (NLP) aufgetaucht, einschließlich Wissensverankerung, Interpretierbarkeit und Skalierbarkeit. Trotz des Hauptaugenmerks auf NLP behaupten wir, dass das Paradigma der Abruf-Verbesserung auf ein breiteres Spektrum des maschinellen Lernens (ML) wie Computer Vision, Zeitreihenvorhersage und der computergestützten Biologie ausgeweitet werden kann. Daher führt diese Arbeit ein formales Rahmenwerk dieses Paradigmas ein, das Retrieval-Verbessertes Maschinelles Lernen (REML), indem sie die Literatur in verschiedenen Bereichen des ML mit konsistenten Notationen synthetisiert, die in der aktuellen Literatur fehlen. Außerdem stellten wir fest, dass zwar eine Reihe von Studien Abrufkomponenten einsetzen, um ihre Modelle zu erweitern, jedoch eine Integration mit der grundlegenden Information Retrieval (IR) Forschung fehlt. Wir überbrücken diese Lücke zwischen der wegweisenden IR-Forschung und zeitgenössischen REML-Studien, indem wir jede Komponente untersuchen, die das REML-Rahmenwerk ausmacht. Letztendlich ist das Ziel dieser Arbeit, Forscherinnen und Forscher aus verschiedenen Disziplinen mit einem umfassenden, formal strukturierten Rahmenwerk von Abruf-verbesserten Modellen auszustatten, um so interdisziplinäre zukünftige Forschung zu fördern.

English

In the field of language modeling, models augmented with retrieval components have emerged as a promising solution to address several challenges faced in the natural language processing (NLP) field, including knowledge grounding, interpretability, and scalability. Despite the primary focus on NLP, we posit that the paradigm of retrieval-enhancement can be extended to a broader spectrum of machine learning (ML) such as computer vision, time series prediction, and computational biology. Therefore, this work introduces a formal framework of this paradigm, Retrieval-Enhanced Machine Learning (REML), by synthesizing the literature in various domains in ML with consistent notations which is missing from the current literature. Also, we found that while a number of studies employ retrieval components to augment their models, there is a lack of integration with foundational Information Retrieval (IR) research. We bridge this gap between the seminal IR research and contemporary REML studies by investigating each component that comprises the REML framework. Ultimately, the goal of this work is to equip researchers across various disciplines with a comprehensive, formally structured framework of retrieval-enhanced models, thereby fostering interdisciplinary future research.