HtmlRAG: HTML лучше, чем обычный текст, для моделирования извлеченных знаний в системах RAG

HtmlRAG: HTML is Better Than Plain Text for Modeling Retrieved Knowledge in RAG Systems

November 5, 2024

Авторы: Jiejun Tan, Zhicheng Dou, Wen Wang, Mang Wang, Weipeng Chen, Ji-Rong Wen

cs.AI

Аннотация

Использование метода Генерации с извлечением информации (RAG) показало улучшение возможностей по работе с знаниями и смягчение проблемы галлюцинаций в языковых моделях с ограниченной памятью. Веб является основным источником внешних знаний, используемых в системах RAG, и многие коммерческие системы, такие как ChatGPT и Perplexity, используют поисковые системы в Интернете в качестве основных систем извлечения. Обычно такие системы RAG извлекают результаты поиска, загружают HTML-исходники результатов, а затем извлекают обычный текст из HTML-исходников. Документы в виде обычного текста или их фрагменты подаются на вход языковым моделям с ограниченной памятью для улучшения генерации. Однако во время этого процесса RAG на основе обычного текста теряется значительная часть структурной и семантической информации, содержащейся в HTML, такой как заголовки и таблицы. Для решения этой проблемы мы предлагаем HtmlRAG, который использует HTML вместо обычного текста в качестве формата извлеченных знаний в RAG. Мы считаем, что HTML лучше подходит для моделирования знаний во внешних документах, и большинство языковых моделей обладают надежными возможностями понимания HTML. Однако использование HTML представляет новые вызовы. HTML содержит дополнительное содержимое, такое как теги, JavaScript и CSS-спецификации, которые добавляют дополнительные токены и шум в систему RAG. Для решения этой проблемы мы предлагаем стратегии очистки, сжатия и обрезки HTML, чтобы сократить объем HTML, минимизируя потерю информации. В частности, мы разработали двухэтапный метод обрезки на основе блокового дерева, который удаляет бесполезные блоки HTML и сохраняет только соответствующую часть HTML. Эксперименты на шести наборах данных для вопросно-ответных систем подтверждают превосходство использования HTML в системах RAG.

English

Retrieval-Augmented Generation (RAG) has been shown to improve knowledge capabilities and alleviate the hallucination problem of LLMs. The Web is a major source of external knowledge used in RAG systems, and many commercial systems such as ChatGPT and Perplexity have used Web search engines as their major retrieval systems. Typically, such RAG systems retrieve search results, download HTML sources of the results, and then extract plain texts from the HTML sources. Plain text documents or chunks are fed into the LLMs to augment the generation. However, much of the structural and semantic information inherent in HTML, such as headings and table structures, is lost during this plain-text-based RAG process. To alleviate this problem, we propose HtmlRAG, which uses HTML instead of plain text as the format of retrieved knowledge in RAG. We believe HTML is better than plain text in modeling knowledge in external documents, and most LLMs possess robust capacities to understand HTML. However, utilizing HTML presents new challenges. HTML contains additional content such as tags, JavaScript, and CSS specifications, which bring extra input tokens and noise to the RAG system. To address this issue, we propose HTML cleaning, compression, and pruning strategies, to shorten the HTML while minimizing the loss of information. Specifically, we design a two-step block-tree-based pruning method that prunes useless HTML blocks and keeps only the relevant part of the HTML. Experiments on six QA datasets confirm the superiority of using HTML in RAG systems.