SCHETS: Gestructureerde Kennis Verrijkte Tekstbegrip voor Holistische Terugvinding

SKETCH: Structured Knowledge Enhanced Text Comprehension for Holistic Retrieval

December 19, 2024

Auteurs: Aakash Mahalingam, Vinesh Kumar Gande, Aman Chadha, Vinija Jain, Divya Chaudhary

cs.AI

Samenvatting

Retrieval-Augmented Generation (RAG) systemen zijn cruciaal geworden bij het benutten van uitgebreide corpora om geïnformeerde en contextueel relevante antwoorden te genereren, waarbij hallucinaties in Grote Taalmodellen aanzienlijk worden verminderd. Ondanks aanzienlijke vooruitgang hebben deze systemen moeite met het efficiënt verwerken en ophalen van informatie uit grote datasets, terwijl ze een alomvattend begrip van de context behouden. Dit artikel introduceert SKETCH, een nieuwe methodologie die het RAG ophaalproces verbetert door semantisch tekst ophalen te integreren met kennisgrafieken, waardoor gestructureerde en ongestructureerde gegevens worden samengevoegd voor een meer holistisch begrip. SKETCH toont aanzienlijke verbeteringen in ophaalprestaties en behoudt superieure contextuele integriteit in vergelijking met traditionele methoden. Geëvalueerd over vier diverse datasets: QuALITY, QASPER, NarrativeQA en Italiaanse Keuken-SKETCH presteert consequent beter dan basismethoden op belangrijke RAGAS-metrieken zoals antwoordrelevantie, getrouwheid, contextprecisie en contextherinnering. Met name op de dataset van Italiaanse Keuken behaalde SKETCH een antwoordrelevantie van 0.94 en een contextprecisie van 0.99, wat de hoogste prestatie vertegenwoordigt over alle geëvalueerde metrieken. Deze resultaten benadrukken de capaciteit van SKETCH om nauwkeurigere en contextueel relevantere antwoorden te leveren, waarmee nieuwe maatstaven worden gezet voor toekomstige ophaalsystemen.

English

Retrieval-Augmented Generation (RAG) systems have become pivotal in leveraging vast corpora to generate informed and contextually relevant responses, notably reducing hallucinations in Large Language Models. Despite significant advancements, these systems struggle to efficiently process and retrieve information from large datasets while maintaining a comprehensive understanding of the context. This paper introduces SKETCH, a novel methodology that enhances the RAG retrieval process by integrating semantic text retrieval with knowledge graphs, thereby merging structured and unstructured data for a more holistic comprehension. SKETCH, demonstrates substantial improvements in retrieval performance and maintains superior context integrity compared to traditional methods. Evaluated across four diverse datasets: QuALITY, QASPER, NarrativeQA, and Italian Cuisine-SKETCH consistently outperforms baseline approaches on key RAGAS metrics such as answer_relevancy, faithfulness, context_precision and context_recall. Notably, on the Italian Cuisine dataset, SKETCH achieved an answer relevancy of 0.94 and a context precision of 0.99, representing the highest performance across all evaluated metrics. These results highlight SKETCH's capability in delivering more accurate and contextually relevant responses, setting new benchmarks for future retrieval systems.