Meta-Chunkeo: Aprendizaje de la Segmentación Eficiente de Texto a través de la Percepción Lógica

Meta-Chunking: Learning Efficient Text Segmentation via Logical Perception

October 16, 2024

Autores: Jihao Zhao, Zhiyuan Ji, Pengnian Qi, Simin Niu, Bo Tang, Feiyu Xiong, Zhiyu Li

cs.AI

Resumen

La Generación con Recuperación Aumentada (RAG), si bien sirve como un complemento viable para los modelos de lenguaje grandes (LLMs), a menudo pasa por alto el aspecto crucial de la segmentación de texto dentro de su proceso, lo cual afecta la calidad de tareas intensivas en conocimiento. Este artículo introduce el concepto de Meta-Segmentación, que se refiere a una granularidad entre oraciones y párrafos, consistente en una colección de oraciones dentro de un párrafo que tienen conexiones lógicas lingüísticas profundas. Para implementar la Meta-Segmentación, diseñamos dos estrategias basadas en LLMs: Segmentación por Muestreo de Margen y Segmentación por Perplejidad. La primera utiliza LLMs para realizar una clasificación binaria sobre si las oraciones consecutivas deben ser segmentadas, tomando decisiones basadas en la diferencia de probabilidad obtenida a partir del muestreo de margen. La segunda identifica con precisión los límites de los fragmentos de texto analizando las características de la distribución de perplejidad. Además, considerando la complejidad inherente de diferentes textos, proponemos una estrategia que combina la Meta-Segmentación con la fusión dinámica para lograr un equilibrio entre la segmentación de texto detallada y gruesa. Experimentos realizados en once conjuntos de datos demuestran que la Meta-Segmentación puede mejorar de manera más eficiente el rendimiento de preguntas de un salto y de múltiples saltos basadas en RAG. Por ejemplo, en el conjunto de datos 2WikiMultihopQA, supera a la segmentación por similitud en 1.32 mientras solo consume el 45.8% del tiempo. Nuestro código está disponible en https://github.com/IAAR-Shanghai/Meta-Segmentación.

English

Retrieval-Augmented Generation (RAG), while serving as a viable complement to large language models (LLMs), often overlooks the crucial aspect of text chunking within its pipeline, which impacts the quality of knowledge-intensive tasks. This paper introduces the concept of Meta-Chunking, which refers to a granularity between sentences and paragraphs, consisting of a collection of sentences within a paragraph that have deep linguistic logical connections. To implement Meta-Chunking, we designed two strategies based on LLMs: Margin Sampling Chunking and Perplexity Chunking. The former employs LLMs to perform binary classification on whether consecutive sentences need to be segmented, making decisions based on the probability difference obtained from margin sampling. The latter precisely identifies text chunk boundaries by analyzing the characteristics of perplexity distribution. Additionally, considering the inherent complexity of different texts, we propose a strategy that combines Meta-Chunking with dynamic merging to achieve a balance between fine-grained and coarse-grained text chunking. Experiments conducted on eleven datasets demonstrate that Meta-Chunking can more efficiently improve the performance of single-hop and multi-hop question answering based on RAG. For instance, on the 2WikiMultihopQA dataset, it outperforms similarity chunking by 1.32 while only consuming 45.8% of the time. Our code is available at https://github.com/IAAR-Shanghai/Meta-Chunking.