ЭСКИЗ: Структурированное знание для улучшения понимания текста для комплексного извлечения

SKETCH: Structured Knowledge Enhanced Text Comprehension for Holistic Retrieval

December 19, 2024

Авторы: Aakash Mahalingam, Vinesh Kumar Gande, Aman Chadha, Vinija Jain, Divya Chaudhary

cs.AI

Аннотация

Системы с извлечением для генерации (Retrieval-Augmented Generation, RAG) стали ключевыми в использовании обширных корпусов для генерации информированных и контекстно значимых ответов, заметно снижая галлюцинации в больших языковых моделях. Несмотря на значительные достижения, эти системы испытывают затруднения в эффективной обработке и извлечении информации из больших наборов данных, сохраняя при этом всеобъемлющее понимание контекста. В данной статье представлена методология SKETCH, которая улучшает процесс извлечения в RAG путем интеграции семантического текстового поиска с графами знаний, объединяя структурированные и неструктурированные данные для более глубокого понимания. SKETCH демонстрирует значительное улучшение производительности извлечения и сохраняет превосходное целостное понимание контекста по сравнению с традиционными методами. Оцененный на четырех разнообразных наборах данных: QuALITY, QASPER, NarrativeQA и Italian Cuisine, SKETCH последовательно превосходит базовые подходы по ключевым метрикам RAGAS, таким как релевантность_ответа, верность, точность_контекста и полнота_контекста. Особенно на наборе данных Italian Cuisine SKETCH достиг релевантности ответа 0.94 и точности контекста 0.99, представляя самую высокую производительность среди всех оцениваемых метрик. Эти результаты подчеркивают способность SKETCH обеспечивать более точные и контекстно значимые ответы, устанавливая новые стандарты для будущих систем извлечения.

English

Retrieval-Augmented Generation (RAG) systems have become pivotal in leveraging vast corpora to generate informed and contextually relevant responses, notably reducing hallucinations in Large Language Models. Despite significant advancements, these systems struggle to efficiently process and retrieve information from large datasets while maintaining a comprehensive understanding of the context. This paper introduces SKETCH, a novel methodology that enhances the RAG retrieval process by integrating semantic text retrieval with knowledge graphs, thereby merging structured and unstructured data for a more holistic comprehension. SKETCH, demonstrates substantial improvements in retrieval performance and maintains superior context integrity compared to traditional methods. Evaluated across four diverse datasets: QuALITY, QASPER, NarrativeQA, and Italian Cuisine-SKETCH consistently outperforms baseline approaches on key RAGAS metrics such as answer_relevancy, faithfulness, context_precision and context_recall. Notably, on the Italian Cuisine dataset, SKETCH achieved an answer relevancy of 0.94 and a context precision of 0.99, representing the highest performance across all evaluated metrics. These results highlight SKETCH's capability in delivering more accurate and contextually relevant responses, setting new benchmarks for future retrieval systems.