Мета-чанкинг: обучение эффективному сегментированию текста с помощью логического восприятия

Meta-Chunking: Learning Efficient Text Segmentation via Logical Perception

October 16, 2024

Авторы: Jihao Zhao, Zhiyuan Ji, Pengnian Qi, Simin Niu, Bo Tang, Feiyu Xiong, Zhiyu Li

cs.AI

Аннотация

Подход с извлечением информации и генерацией (Retrieval-Augmented Generation, RAG), хотя и является жизнеспособным дополнением к большим языковым моделям (Large Language Models, LLM), часто упускает важный аспект сегментации текста внутри своего конвейера, что влияет на качество задач, требующих обширных знаний. В данной статье представлен концепт Мета-Сегментации, который представляет собой уровень между предложениями и абзацами, состоящий из коллекции предложений внутри абзаца, имеющих глубокие лингвистические логические связи. Для реализации Мета-Сегментации мы разработали две стратегии на основе LLM: Сегментация с использованием выборки отступов (Margin Sampling Chunking) и Сегментация с использованием перплексии (Perplexity Chunking). Первая стратегия использует LLM для выполнения бинарной классификации на основе необходимости сегментации последовательных предложений, принимая решения на основе разницы вероятностей, полученной из выборки отступов. Вторая стратегия точно определяет границы сегментов текста путем анализа характеристик распределения перплексии. Кроме того, учитывая врожденную сложность различных текстов, мы предлагаем стратегию, которая объединяет Мета-Сегментацию с динамическим объединением для достижения баланса между детализированной и крупнозернистой сегментацией текста. Проведенные эксперименты на одиннадцати наборах данных показывают, что Мета-Сегментация может более эффективно улучшить производительность одношагового и многошагового вопросно-ответного моделирования на основе RAG. Например, на наборе данных 2WikiMultihopQA она превосходит сегментацию по сходству на 1,32, потребляя всего 45,8% времени. Наш код доступен по адресу https://github.com/IAAR-Shanghai/Meta-Chunking.

English

Retrieval-Augmented Generation (RAG), while serving as a viable complement to large language models (LLMs), often overlooks the crucial aspect of text chunking within its pipeline, which impacts the quality of knowledge-intensive tasks. This paper introduces the concept of Meta-Chunking, which refers to a granularity between sentences and paragraphs, consisting of a collection of sentences within a paragraph that have deep linguistic logical connections. To implement Meta-Chunking, we designed two strategies based on LLMs: Margin Sampling Chunking and Perplexity Chunking. The former employs LLMs to perform binary classification on whether consecutive sentences need to be segmented, making decisions based on the probability difference obtained from margin sampling. The latter precisely identifies text chunk boundaries by analyzing the characteristics of perplexity distribution. Additionally, considering the inherent complexity of different texts, we propose a strategy that combines Meta-Chunking with dynamic merging to achieve a balance between fine-grained and coarse-grained text chunking. Experiments conducted on eleven datasets demonstrate that Meta-Chunking can more efficiently improve the performance of single-hop and multi-hop question answering based on RAG. For instance, on the 2WikiMultihopQA dataset, it outperforms similarity chunking by 1.32 while only consuming 45.8% of the time. Our code is available at https://github.com/IAAR-Shanghai/Meta-Chunking.