TnT-LLM : Exploration de texte à grande échelle avec les modèles de langage de grande taille

TnT-LLM: Text Mining at Scale with Large Language Models

March 18, 2024

Auteurs: Mengting Wan, Tara Safavi, Sujay Kumar Jauhar, Yujin Kim, Scott Counts, Jennifer Neville, Siddharth Suri, Chirag Shah, Ryen W White, Longqi Yang, Reid Andersen, Georg Buscher, Dhruv Joshi, Nagu Rangan

cs.AI

Résumé

Transformer du texte non structuré en formes structurées et significatives, organisées par des étiquettes de catégories utiles, constitue une étape fondamentale dans l'exploration de texte pour l'analyse et l'application en aval. Cependant, la plupart des méthodes existantes pour produire des taxonomies d'étiquettes et construire des classificateurs basés sur le texte reposent encore largement sur l'expertise du domaine et la curation manuelle, rendant le processus coûteux et chronophage. Cela est particulièrement difficile lorsque l'espace des étiquettes est sous-spécifié et que les annotations de données à grande échelle ne sont pas disponibles. Dans cet article, nous abordons ces défis avec les modèles de langage à grande échelle (LLMs), dont l'interface basée sur des invites facilite l'induction et l'utilisation de pseudo-étiquettes à grande échelle. Nous proposons TnT-LLM, un cadre en deux phases qui utilise les LLMs pour automatiser le processus de génération et d'attribution d'étiquettes de bout en bout avec un effort humain minimal pour tout cas d'utilisation donné. Dans la première phase, nous introduisons une approche de raisonnement en plusieurs étapes en zéro-shot qui permet aux LLMs de produire et d'affiner une taxonomie d'étiquettes de manière itérative. Dans la deuxième phase, les LLMs sont utilisés comme étiqueteurs de données qui produisent des échantillons d'entraînement afin que des classificateurs supervisés légers puissent être construits, déployés et servis de manière fiable à grande échelle. Nous appliquons TnT-LLM à l'analyse de l'intention de l'utilisateur et du domaine conversationnel pour Bing Copilot (anciennement Bing Chat), un moteur de recherche conversationnel à domaine ouvert. Des expériences approfondies utilisant à la fois des métriques d'évaluation humaine et automatique démontrent que TnT-LLM génère des taxonomies d'étiquettes plus précises et pertinentes par rapport aux meilleures méthodes de référence, et atteint un équilibre favorable entre précision et efficacité pour la classification à grande échelle. Nous partageons également nos expériences pratiques et nos insights sur les défis et les opportunités d'utilisation des LLMs pour l'exploration de texte à grande échelle dans des applications réelles.

English

Transforming unstructured text into structured and meaningful forms, organized by useful category labels, is a fundamental step in text mining for downstream analysis and application. However, most existing methods for producing label taxonomies and building text-based label classifiers still rely heavily on domain expertise and manual curation, making the process expensive and time-consuming. This is particularly challenging when the label space is under-specified and large-scale data annotations are unavailable. In this paper, we address these challenges with Large Language Models (LLMs), whose prompt-based interface facilitates the induction and use of large-scale pseudo labels. We propose TnT-LLM, a two-phase framework that employs LLMs to automate the process of end-to-end label generation and assignment with minimal human effort for any given use-case. In the first phase, we introduce a zero-shot, multi-stage reasoning approach which enables LLMs to produce and refine a label taxonomy iteratively. In the second phase, LLMs are used as data labelers that yield training samples so that lightweight supervised classifiers can be reliably built, deployed, and served at scale. We apply TnT-LLM to the analysis of user intent and conversational domain for Bing Copilot (formerly Bing Chat), an open-domain chat-based search engine. Extensive experiments using both human and automatic evaluation metrics demonstrate that TnT-LLM generates more accurate and relevant label taxonomies when compared against state-of-the-art baselines, and achieves a favorable balance between accuracy and efficiency for classification at scale. We also share our practical experiences and insights on the challenges and opportunities of using LLMs for large-scale text mining in real-world applications.