ESQUISSE : Compréhension de texte améliorée par la connaissance structurée pour une récupération holistique

SKETCH: Structured Knowledge Enhanced Text Comprehension for Holistic Retrieval

December 19, 2024

Auteurs: Aakash Mahalingam, Vinesh Kumar Gande, Aman Chadha, Vinija Jain, Divya Chaudhary

cs.AI

Résumé

Les systèmes de Génération Augmentée par Récupération (RAG) sont devenus essentiels pour exploiter de vastes corpus afin de générer des réponses informées et contextuellement pertinentes, réduisant notablement les hallucinations dans les Grands Modèles de Langage. Malgré des avancées significatives, ces systèmes peinent à traiter efficacement et récupérer des informations à partir de vastes ensembles de données tout en maintenant une compréhension globale du contexte. Cet article présente SKETCH, une méthodologie novatrice qui améliore le processus de récupération RAG en intégrant la recherche sémantique de texte avec des graphes de connaissances, fusionnant ainsi des données structurées et non structurées pour une compréhension plus holistique. SKETCH démontre des améliorations substantielles en termes de performance de récupération et maintient une intégrité contextuelle supérieure par rapport aux méthodes traditionnelles. Évalué sur quatre ensembles de données divers : QuALITY, QASPER, NarrativeQA et Cuisine Italienne, SKETCH surpasse systématiquement les approches de référence sur des métriques clés de RAGAS telles que la pertinence de la réponse, la fidélité, la précision du contexte et le rappel du contexte. Notamment, sur l'ensemble de données de Cuisine Italienne, SKETCH a atteint une pertinence de réponse de 0,94 et une précision de contexte de 0,99, représentant la meilleure performance sur l'ensemble des métriques évaluées. Ces résultats mettent en lumière la capacité de SKETCH à fournir des réponses plus précises et contextuellement pertinentes, établissant de nouveaux standards pour les futurs systèmes de récupération.

English

Retrieval-Augmented Generation (RAG) systems have become pivotal in leveraging vast corpora to generate informed and contextually relevant responses, notably reducing hallucinations in Large Language Models. Despite significant advancements, these systems struggle to efficiently process and retrieve information from large datasets while maintaining a comprehensive understanding of the context. This paper introduces SKETCH, a novel methodology that enhances the RAG retrieval process by integrating semantic text retrieval with knowledge graphs, thereby merging structured and unstructured data for a more holistic comprehension. SKETCH, demonstrates substantial improvements in retrieval performance and maintains superior context integrity compared to traditional methods. Evaluated across four diverse datasets: QuALITY, QASPER, NarrativeQA, and Italian Cuisine-SKETCH consistently outperforms baseline approaches on key RAGAS metrics such as answer_relevancy, faithfulness, context_precision and context_recall. Notably, on the Italian Cuisine dataset, SKETCH achieved an answer relevancy of 0.94 and a context precision of 0.99, representing the highest performance across all evaluated metrics. These results highlight SKETCH's capability in delivering more accurate and contextually relevant responses, setting new benchmarks for future retrieval systems.