Meta-Chunking: Apprendimento dell'Efficiente Segmentazione del Testo tramite Percezione Logica

Meta-Chunking: Learning Efficient Text Segmentation via Logical Perception

October 16, 2024

Autori: Jihao Zhao, Zhiyuan Ji, Pengnian Qi, Simin Niu, Bo Tang, Feiyu Xiong, Zhiyu Li

cs.AI

Abstract

Il Generatore con Recupero Integrato (RAG), pur rappresentando un valido complemento ai grandi modelli linguistici (LLM), spesso trascura l'aspetto cruciale del chunking del testo all'interno del suo processo, il quale influisce sulla qualità delle attività ad alto contenuto di conoscenza. Questo articolo introduce il concetto di Meta-Chunking, che si riferisce a una granularità tra frasi e paragrafi, consistente in una raccolta di frasi all'interno di un paragrafo che presentano profonde connessioni logiche linguistiche. Per implementare il Meta-Chunking, abbiamo progettato due strategie basate sui LLM: il Chunking con Campionamento del Margine e il Chunking con Perplessità. Il primo impiega i LLM per eseguire una classificazione binaria su se le frasi consecutive devono essere segmentate, prendendo decisioni basate sulla differenza di probabilità ottenuta dal campionamento del margine. Il secondo identifica con precisione i confini dei chunk di testo analizzando le caratteristiche della distribuzione della perplessità. Inoltre, considerando la complessità intrinseca dei diversi testi, proponiamo una strategia che combina il Meta-Chunking con la fusione dinamica per ottenere un equilibrio tra chunking di testo dettagliato e chunking di testo più generale. Gli esperimenti condotti su undici set di dati dimostrano che il Meta-Chunking può migliorare più efficientemente le prestazioni della risposta a domande single-hop e multi-hop basate su RAG. Ad esempio, sul set di dati 2WikiMultihopQA, supera il chunking di similarità di 1,32 consumando solo il 45,8% del tempo. Il nostro codice è disponibile su https://github.com/IAAR-Shanghai/Meta-Chunking.

English

Retrieval-Augmented Generation (RAG), while serving as a viable complement to large language models (LLMs), often overlooks the crucial aspect of text chunking within its pipeline, which impacts the quality of knowledge-intensive tasks. This paper introduces the concept of Meta-Chunking, which refers to a granularity between sentences and paragraphs, consisting of a collection of sentences within a paragraph that have deep linguistic logical connections. To implement Meta-Chunking, we designed two strategies based on LLMs: Margin Sampling Chunking and Perplexity Chunking. The former employs LLMs to perform binary classification on whether consecutive sentences need to be segmented, making decisions based on the probability difference obtained from margin sampling. The latter precisely identifies text chunk boundaries by analyzing the characteristics of perplexity distribution. Additionally, considering the inherent complexity of different texts, we propose a strategy that combines Meta-Chunking with dynamic merging to achieve a balance between fine-grained and coarse-grained text chunking. Experiments conducted on eleven datasets demonstrate that Meta-Chunking can more efficiently improve the performance of single-hop and multi-hop question answering based on RAG. For instance, on the 2WikiMultihopQA dataset, it outperforms similarity chunking by 1.32 while only consuming 45.8% of the time. Our code is available at https://github.com/IAAR-Shanghai/Meta-Chunking.