S3-DST: 大規模言語モデル時代における構造化オープンドメイン対話セグメンテーションと状態追跡

S3-DST: Structured Open-Domain Dialogue Segmentation and State Tracking in the Era of LLMs

September 16, 2023

著者: Sarkar Snigdha Sarathi Das, Chirag Shah, Mengting Wan, Jennifer Neville, Longqi Yang, Reid Andersen, Georg Buscher, Tara Safavi

cs.AI

要旨

従来の対話状態追跡（DST）問題は、ユーザーとエージェントの会話におけるユーザーの嗜好や意図を追跡することを目的としています。これは狭いドメインのアプリケーションをサポートするタスク指向型対話システムには十分でしたが、大規模言語モデル（LLM）ベースのチャットシステムの登場により、オープンドメイン対話において多くの現実世界の複雑さが導入されました。これらの複雑さは、文脈的相互作用の増大、多様なトピックを包含する長時間の対話セッション、そしてより頻繁な文脈のシフトといった形で現れます。進化するLLMベースのチャットシステムから生じるこれらの複雑さに対処するため、我々はオープンドメイン対話システムにおいて、対話のセグメンテーションと各セグメントごとの状態追跡を同時に行うことを提案します。真のオープンドメイン対話システムに適したゼロショット設定を仮定し、我々はS3-DSTを提案します。これは、長い文脈の追跡を改善するために設計された新しいグラウンディングメカニズムであるPre-Analytical Recollectionを活用した構造化プロンプティング技術です。提案したセグメンテーションと状態追跡の同時アプローチの有効性を実証するため、S3-DSTを独自の匿名化されたオープンドメイン対話データセット、および公開されているDSTとセグメンテーションのデータセットで評価しました。全てのデータセットと設定において、S3-DSTは一貫して最先端の性能を上回り、次世代のLLMベースのチャットシステムにおけるその有効性と堅牢性を示しました。

English

The traditional Dialogue State Tracking (DST) problem aims to track user preferences and intents in user-agent conversations. While sufficient for task-oriented dialogue systems supporting narrow domain applications, the advent of Large Language Model (LLM)-based chat systems has introduced many real-world intricacies in open-domain dialogues. These intricacies manifest in the form of increased complexity in contextual interactions, extended dialogue sessions encompassing a diverse array of topics, and more frequent contextual shifts. To handle these intricacies arising from evolving LLM-based chat systems, we propose joint dialogue segmentation and state tracking per segment in open-domain dialogue systems. Assuming a zero-shot setting appropriate to a true open-domain dialogue system, we propose S3-DST, a structured prompting technique that harnesses Pre-Analytical Recollection, a novel grounding mechanism we designed for improving long context tracking. To demonstrate the efficacy of our proposed approach in joint segmentation and state tracking, we evaluate S3-DST on a proprietary anonymized open-domain dialogue dataset, as well as publicly available DST and segmentation datasets. Across all datasets and settings, S3-DST consistently outperforms the state-of-the-art, demonstrating its potency and robustness the next generation of LLM-based chat systems.