Ongestructureerde Bewijsattributie voor Query-Gerichte Samenvatting van Lange Contexten

Unstructured Evidence Attribution for Long Context Query Focused Summarization

February 20, 2025

Auteurs: Dustin Wright, Zain Muhammad Mujahid, Lu Wang, Isabelle Augenstein, David Jurgens

cs.AI

Samenvatting

Grote taalmodellen (LLMs) zijn in staat samenhangende samenvattingen te genereren uit zeer lange contexten op basis van een gebruikersvraag. Het extraheren en correct citeren van bewijsstukken kan helpen om de transparantie en betrouwbaarheid van deze samenvattingen te verbeteren. Tegelijkertijd hebben LLMs last van positionele biases in termen van welke informatie ze begrijpen en aandacht aan besteden, wat het citeren van bewijs kan beïnvloeden. Waar eerder werk zich richtte op het citeren van bewijs met vooraf gedefinieerde niveaus van granulariteit (bijv. zin, alinea, document, enz.), stellen wij de taak voor van query-gerichte samenvattingen met lange context en ongestructureerd bewijscitaat. We laten zien hoe bestaande systemen moeite hebben om ongestructureerd bewijs uit hun context te genereren en correct te citeren, en dat bewijs vaak "verloren in het midden" raakt. Om dit te helpen verminderen, hebben we de Summaries with Unstructured Evidence Text dataset (SUnsET) gecreëerd, een synthetische dataset gegenereerd met behulp van een nieuwe domein-agnostische pijplijn die als supervisie kan worden gebruikt om LLMs aan te passen voor deze taak. We demonstreren over 5 LLMs van verschillende grootte en 4 datasets met uiteenlopende documenttypen en lengtes dat LLMs die zijn aangepast met SUnsET-data relevanter en feitelijk consistenter bewijs genereren dan hun basismodellen, bewijs uit meer diverse locaties in hun context extraheren, en relevantere en consistentere samenvattingen kunnen genereren.

English

Large language models (LLMs) are capable of generating coherent summaries from very long contexts given a user query. Extracting and properly citing evidence spans could help improve the transparency and reliability of these summaries. At the same time, LLMs suffer from positional biases in terms of which information they understand and attend to, which could affect evidence citation. Whereas previous work has focused on evidence citation with predefined levels of granularity (e.g. sentence, paragraph, document, etc.), we propose the task of long-context query focused summarization with unstructured evidence citation. We show how existing systems struggle to generate and properly cite unstructured evidence from their context, and that evidence tends to be "lost-in-the-middle". To help mitigate this, we create the Summaries with Unstructured Evidence Text dataset (SUnsET), a synthetic dataset generated using a novel domain-agnostic pipeline which can be used as supervision to adapt LLMs to this task. We demonstrate across 5 LLMs of different sizes and 4 datasets with varying document types and lengths that LLMs adapted with SUnsET data generate more relevant and factually consistent evidence than their base models, extract evidence from more diverse locations in their context, and can generate more relevant and consistent summaries.