TnT-LLM: Text Mining im großen Maßstab mit großen Sprachmodellen

TnT-LLM: Text Mining at Scale with Large Language Models

March 18, 2024

Autoren: Mengting Wan, Tara Safavi, Sujay Kumar Jauhar, Yujin Kim, Scott Counts, Jennifer Neville, Siddharth Suri, Chirag Shah, Ryen W White, Longqi Yang, Reid Andersen, Georg Buscher, Dhruv Joshi, Nagu Rangan

cs.AI

Zusammenfassung

Die Umwandlung von unstrukturiertem Text in strukturierte und sinnvolle Formen, die nach nützlichen Kategorielabels organisiert sind, ist ein grundlegender Schritt beim Text Mining für nachgelagerte Analysen und Anwendungen. Die meisten bestehenden Methoden zur Erstellung von Label-Taxonomien und zum Aufbau von textbasierten Label-Klassifikatoren stützen sich jedoch weiterhin stark auf Fachwissen und manuelle Kuratierung, was den Prozess teuer und zeitaufwändig macht. Dies ist besonders herausfordernd, wenn der Labelraum unzureichend spezifiziert ist und groß angelegte Datenannotationen nicht verfügbar sind. In diesem Paper gehen wir diese Herausforderungen mit Large Language Models (LLMs) an, deren promptbasierte Schnittstelle die Induktion und Verwendung von groß angelegten Pseudolabels erleichtert. Wir schlagen TnT-LLM vor, ein Zwei-Phasen-Framework, das LLMs einsetzt, um den Prozess der automatischen Generierung und Zuweisung von Labels von Anfang bis Ende mit minimalem menschlichen Aufwand für jeden Anwendungsfall zu automatisieren. In der ersten Phase führen wir einen Zero-Shot-, mehrstufigen Denkansatz ein, der es LLMs ermöglicht, iterativ eine Label-Taxonomie zu erstellen und zu verfeinern. In der zweiten Phase werden LLMs als Datenlabeler verwendet, die Trainingsbeispiele liefern, damit leichtgewichtige überwachte Klassifikatoren zuverlässig erstellt, bereitgestellt und im großen Maßstab genutzt werden können. Wir wenden TnT-LLM auf die Analyse von Benutzerabsichten und dem konversationellen Bereich für Bing Copilot (ehemals Bing Chat) an, eine Chat-basierte Suchmaschine im Open Domain. Umfangreiche Experimente unter Verwendung sowohl menschlicher als auch automatischer Bewertungsmetriken zeigen, dass TnT-LLM genauere und relevantere Label-Taxonomien generiert im Vergleich zu State-of-the-Art-Baselines und ein günstiges Gleichgewicht zwischen Genauigkeit und Effizienz für die Klassifizierung im großen Maßstab erreicht. Wir teilen auch unsere praktischen Erfahrungen und Erkenntnisse zu den Herausforderungen und Chancen bei der Verwendung von LLMs für das Text Mining im großen Maßstab in realen Anwendungen.

English

Transforming unstructured text into structured and meaningful forms, organized by useful category labels, is a fundamental step in text mining for downstream analysis and application. However, most existing methods for producing label taxonomies and building text-based label classifiers still rely heavily on domain expertise and manual curation, making the process expensive and time-consuming. This is particularly challenging when the label space is under-specified and large-scale data annotations are unavailable. In this paper, we address these challenges with Large Language Models (LLMs), whose prompt-based interface facilitates the induction and use of large-scale pseudo labels. We propose TnT-LLM, a two-phase framework that employs LLMs to automate the process of end-to-end label generation and assignment with minimal human effort for any given use-case. In the first phase, we introduce a zero-shot, multi-stage reasoning approach which enables LLMs to produce and refine a label taxonomy iteratively. In the second phase, LLMs are used as data labelers that yield training samples so that lightweight supervised classifiers can be reliably built, deployed, and served at scale. We apply TnT-LLM to the analysis of user intent and conversational domain for Bing Copilot (formerly Bing Chat), an open-domain chat-based search engine. Extensive experiments using both human and automatic evaluation metrics demonstrate that TnT-LLM generates more accurate and relevant label taxonomies when compared against state-of-the-art baselines, and achieves a favorable balance between accuracy and efficiency for classification at scale. We also share our practical experiences and insights on the challenges and opportunities of using LLMs for large-scale text mining in real-world applications.