SKIZZE: Strukturiertes Wissensverstärktes Textverständnis für ganzheitliche Abfrage

SKETCH: Structured Knowledge Enhanced Text Comprehension for Holistic Retrieval

December 19, 2024

Autoren: Aakash Mahalingam, Vinesh Kumar Gande, Aman Chadha, Vinija Jain, Divya Chaudhary

cs.AI

Zusammenfassung

Retrieval-augmented Generation (RAG)-Systeme sind entscheidend geworden, um umfangreiche Korpora zu nutzen, um informierte und kontextuell relevante Antworten zu generieren, wodurch insbesondere Halluzinationen in großen Sprachmodellen reduziert werden. Trotz bedeutender Fortschritte haben diese Systeme Schwierigkeiten, Informationen effizient aus großen Datensätzen abzurufen und zu verarbeiten, während sie ein umfassendes Verständnis des Kontexts aufrechterhalten. Dieses Papier stellt SKETCH vor, eine neuartige Methodik, die den RAG-Abrufprozess durch die Integration von semantischer Textsuche mit Wissensgraphen verbessert, wodurch strukturierte und unstrukturierte Daten für ein ganzheitlicheres Verständnis zusammengeführt werden. SKETCH zeigt signifikante Verbesserungen in der Abrufleistung und behält im Vergleich zu traditionellen Methoden eine überlegene Kontextintegrität bei. Über vier verschiedene Datensätze evaluiert - QuALITY, QASPER, NarrativeQA und Italian Cuisine - übertrifft SKETCH konstant Basismethoden in Schlüsselmetriken des RAGAS wie Antwortrelevanz, Treue, Kontextpräzision und Kontextabruf. Insbesondere auf dem Datensatz Italian Cuisine erzielte SKETCH eine Antwortrelevanz von 0,94 und eine Kontextpräzision von 0,99, was die höchste Leistung in allen evaluierten Metriken darstellt. Diese Ergebnisse unterstreichen die Fähigkeit von SKETCH, genauere und kontextuell relevantere Antworten zu liefern und setzen neue Maßstäbe für zukünftige Abrufsysteme.

English

Retrieval-Augmented Generation (RAG) systems have become pivotal in leveraging vast corpora to generate informed and contextually relevant responses, notably reducing hallucinations in Large Language Models. Despite significant advancements, these systems struggle to efficiently process and retrieve information from large datasets while maintaining a comprehensive understanding of the context. This paper introduces SKETCH, a novel methodology that enhances the RAG retrieval process by integrating semantic text retrieval with knowledge graphs, thereby merging structured and unstructured data for a more holistic comprehension. SKETCH, demonstrates substantial improvements in retrieval performance and maintains superior context integrity compared to traditional methods. Evaluated across four diverse datasets: QuALITY, QASPER, NarrativeQA, and Italian Cuisine-SKETCH consistently outperforms baseline approaches on key RAGAS metrics such as answer_relevancy, faithfulness, context_precision and context_recall. Notably, on the Italian Cuisine dataset, SKETCH achieved an answer relevancy of 0.94 and a context precision of 0.99, representing the highest performance across all evaluated metrics. These results highlight SKETCH's capability in delivering more accurate and contextually relevant responses, setting new benchmarks for future retrieval systems.