Fijnafstemming van de multi-task retriever voor domeinspecifieke en efficiënte RAG.

Multi-task retriever fine-tuning for domain-specific and efficient RAG

January 8, 2025

Auteurs: Patrice Béchard, Orlando Marquez Ayala

cs.AI

Samenvatting

Het opvragen-verbeterde generatie (RAG) is alomtegenwoordig geworden bij het implementeren van Grote Taalmodellen (LLM's), omdat het typische beperkingen kan aanpakken zoals het genereren van gehallucineerde of verouderde informatie. Bij het bouwen van RAG-toepassingen voor de echte wereld doen zich echter praktische problemen voor. Ten eerste is de opgehaalde informatie doorgaans domeinspecifiek. Aangezien het rekenkundig duur is om LLM's fijn af te stemmen, is het haalbaarder om de retriever af te stemmen om de kwaliteit van de gegevens in de LLM-input te verbeteren. Ten tweede, naarmate er meer toepassingen worden geïmplementeerd in hetzelfde systeem voor de echte wereld, kan men zich niet veroorloven om afzonderlijke retrievers te implementeren. Bovendien halen deze RAG-toepassingen normaal gesproken verschillende soorten gegevens op. Onze oplossing is om een kleine retriever-encoder instructiegericht af te stemmen op een verscheidenheid van domeinspecifieke taken, zodat we één encoder kunnen implementeren die veel use cases kan bedienen, waardoor we een kosteneffectieve, schaalbare en snelle oplossing bereiken. We tonen aan hoe deze encoder generaliseert naar out-of-domain instellingen en naar een ongeziene opzoektaak in echte zakelijke use cases.

English

Retrieval-Augmented Generation (RAG) has become ubiquitous when deploying Large Language Models (LLMs), as it can address typical limitations such as generating hallucinated or outdated information. However, when building real-world RAG applications, practical issues arise. First, the retrieved information is generally domain-specific. Since it is computationally expensive to fine-tune LLMs, it is more feasible to fine-tune the retriever to improve the quality of the data included in the LLM input. Second, as more applications are deployed in the same real-world system, one cannot afford to deploy separate retrievers. Moreover, these RAG applications normally retrieve different kinds of data. Our solution is to instruction fine-tune a small retriever encoder on a variety of domain-specific tasks to allow us to deploy one encoder that can serve many use cases, thereby achieving low-cost, scalability, and speed. We show how this encoder generalizes to out-of-domain settings as well as to an unseen retrieval task on real-world enterprise use cases.