Meta-Chunking: Aprendizado de Segmentação de Texto Eficiente por meio de Percepção Lógica

Meta-Chunking: Learning Efficient Text Segmentation via Logical Perception

October 16, 2024

Autores: Jihao Zhao, Zhiyuan Ji, Pengnian Qi, Simin Niu, Bo Tang, Feiyu Xiong, Zhiyu Li

cs.AI

Resumo

A Geração com Recuperação Aprimorada (RAG), embora sirva como um complemento viável para os grandes modelos de linguagem (LLMs), frequentemente negligencia o aspecto crucial da segmentação de texto dentro de seu pipeline, o que impacta a qualidade de tarefas intensivas em conhecimento. Este artigo introduz o conceito de Meta-Segmentação, que se refere a uma granularidade entre frases e parágrafos, consistindo em uma coleção de frases dentro de um parágrafo que possuem conexões lógicas linguísticas profundas. Para implementar a Meta-Segmentação, projetamos duas estratégias baseadas em LLMs: Segmentação por Amostragem de Margem e Segmentação por Perplexidade. A primeira emprega LLMs para realizar classificação binária sobre se frases consecutivas precisam ser segmentadas, tomando decisões com base na diferença de probabilidade obtida a partir da amostragem de margem. A última identifica precisamente os limites dos segmentos de texto analisando as características da distribuição de perplexidade. Além disso, considerando a complexidade inerente de diferentes textos, propomos uma estratégia que combina a Meta-Segmentação com fusão dinâmica para alcançar um equilíbrio entre a segmentação de texto granular e grosseira. Experimentos realizados em onze conjuntos de dados demonstram que a Meta-Segmentação pode melhorar de forma mais eficiente o desempenho de perguntas de um único salto e de vários saltos com base em RAG. Por exemplo, no conjunto de dados 2WikiMultihopQA, supera a segmentação por similaridade em 1,32, consumindo apenas 45,8% do tempo. Nosso código está disponível em https://github.com/IAAR-Shanghai/Meta-Segmentação.

English

Retrieval-Augmented Generation (RAG), while serving as a viable complement to large language models (LLMs), often overlooks the crucial aspect of text chunking within its pipeline, which impacts the quality of knowledge-intensive tasks. This paper introduces the concept of Meta-Chunking, which refers to a granularity between sentences and paragraphs, consisting of a collection of sentences within a paragraph that have deep linguistic logical connections. To implement Meta-Chunking, we designed two strategies based on LLMs: Margin Sampling Chunking and Perplexity Chunking. The former employs LLMs to perform binary classification on whether consecutive sentences need to be segmented, making decisions based on the probability difference obtained from margin sampling. The latter precisely identifies text chunk boundaries by analyzing the characteristics of perplexity distribution. Additionally, considering the inherent complexity of different texts, we propose a strategy that combines Meta-Chunking with dynamic merging to achieve a balance between fine-grained and coarse-grained text chunking. Experiments conducted on eleven datasets demonstrate that Meta-Chunking can more efficiently improve the performance of single-hop and multi-hop question answering based on RAG. For instance, on the 2WikiMultihopQA dataset, it outperforms similarity chunking by 1.32 while only consuming 45.8% of the time. Our code is available at https://github.com/IAAR-Shanghai/Meta-Chunking.