TnT-LLM: 大規模言語モデルを用いたテキストマイニング

TnT-LLM: Text Mining at Scale with Large Language Models

March 18, 2024

著者: Mengting Wan, Tara Safavi, Sujay Kumar Jauhar, Yujin Kim, Scott Counts, Jennifer Neville, Siddharth Suri, Chirag Shah, Ryen W White, Longqi Yang, Reid Andersen, Georg Buscher, Dhruv Joshi, Nagu Rangan

cs.AI

要旨

非構造化テキストを構造化された意味のある形式に変換し、有用なカテゴリラベルで整理することは、下流の分析やアプリケーションのためのテキストマイニングにおける基本的なステップです。しかし、ラベル分類体系を生成し、テキストベースのラベル分類器を構築するための既存の手法の多くは、依然としてドメイン専門知識と手作業によるキュレーションに大きく依存しており、そのプロセスは費用と時間がかかります。これは特に、ラベル空間が十分に定義されておらず、大規模なデータアノテーションが利用できない場合に課題となります。本論文では、これらの課題に対処するために、大規模言語モデル（LLMs）を活用します。LLMsのプロンプトベースのインターフェースは、大規模な疑似ラベルの誘導と使用を容易にします。我々は、TnT-LLMという2段階のフレームワークを提案します。このフレームワークは、LLMsを利用して、特定のユースケースにおいて最小限の人的労力でエンドツーエンドのラベル生成と割り当てのプロセスを自動化します。第1段階では、ゼロショットの多段階推論アプローチを導入し、LLMsが反復的にラベル分類体系を生成・洗練できるようにします。第2段階では、LLMsをデータラベラーとして使用し、軽量な教師あり分類器を確実に構築、展開、大規模に提供するためのトレーニングサンプルを生成します。TnT-LLMを、オープンドメインのチャットベース検索エンジンであるBing Copilot（旧Bing Chat）のユーザー意図と会話ドメインの分析に適用します。人間による評価と自動評価指標を用いた広範な実験により、TnT-LLMが最先端のベースラインと比較して、より正確で関連性の高いラベル分類体系を生成し、大規模な分類において精度と効率の良いバランスを達成することが示されました。また、実世界のアプリケーションにおける大規模テキストマイニングのためにLLMsを使用する際の課題と機会について、実践的な経験と洞察を共有します。

English

Transforming unstructured text into structured and meaningful forms, organized by useful category labels, is a fundamental step in text mining for downstream analysis and application. However, most existing methods for producing label taxonomies and building text-based label classifiers still rely heavily on domain expertise and manual curation, making the process expensive and time-consuming. This is particularly challenging when the label space is under-specified and large-scale data annotations are unavailable. In this paper, we address these challenges with Large Language Models (LLMs), whose prompt-based interface facilitates the induction and use of large-scale pseudo labels. We propose TnT-LLM, a two-phase framework that employs LLMs to automate the process of end-to-end label generation and assignment with minimal human effort for any given use-case. In the first phase, we introduce a zero-shot, multi-stage reasoning approach which enables LLMs to produce and refine a label taxonomy iteratively. In the second phase, LLMs are used as data labelers that yield training samples so that lightweight supervised classifiers can be reliably built, deployed, and served at scale. We apply TnT-LLM to the analysis of user intent and conversational domain for Bing Copilot (formerly Bing Chat), an open-domain chat-based search engine. Extensive experiments using both human and automatic evaluation metrics demonstrate that TnT-LLM generates more accurate and relevant label taxonomies when compared against state-of-the-art baselines, and achieves a favorable balance between accuracy and efficiency for classification at scale. We also share our practical experiences and insights on the challenges and opportunities of using LLMs for large-scale text mining in real-world applications.