S3-DST: 대규모 언어 모델 시대의 구조화된 개방형 도메인 대화 분할 및 상태 추적

S3-DST: Structured Open-Domain Dialogue Segmentation and State Tracking in the Era of LLMs

September 16, 2023

저자: Sarkar Snigdha Sarathi Das, Chirag Shah, Mengting Wan, Jennifer Neville, Longqi Yang, Reid Andersen, Georg Buscher, Tara Safavi

cs.AI

초록

기존의 대화 상태 추적(Dialogue State Tracking, DST) 문제는 사용자와 에이전트 간의 대화에서 사용자의 선호도와 의도를 추적하는 것을 목표로 합니다. 이는 좁은 도메인 애플리케이션을 지원하는 작업 지향적 대화 시스템에는 충분하지만, 대형 언어 모델(Large Language Model, LLM) 기반 채팅 시스템의 등장으로 인해 개방형 도메인 대화에서 많은 현실 세계의 복잡성이 도입되었습니다. 이러한 복잡성은 문맥적 상호작용의 증가된 복잡성, 다양한 주제를 포괄하는 확장된 대화 세션, 그리고 더 빈번한 문맥 전환의 형태로 나타납니다. 진화하는 LLM 기반 채팅 시스템에서 발생하는 이러한 복잡성을 처리하기 위해, 우리는 개방형 도메인 대화 시스템에서 세그먼트별로 대화 분할과 상태 추적을 결합하는 방법을 제안합니다. 진정한 개방형 도메인 대화 시스템에 적합한 제로샷 설정을 가정하여, 우리는 S3-DST라는 구조화된 프롬프팅 기법을 제안합니다. 이 기법은 장기 문맥 추적을 개선하기 위해 설계한 새로운 접지 메커니즘인 사전 분석적 회상(Pre-Analytical Recollection)을 활용합니다. 분할과 상태 추적을 결합한 우리의 접근 방식의 효용성을 입증하기 위해, S3-DST를 독점적으로 익명화된 개방형 도메인 대화 데이터셋과 공개적으로 이용 가능한 DST 및 분할 데이터셋에서 평가합니다. 모든 데이터셋과 설정에서 S3-DST는 최신 기술을 일관되게 능가하며, 차세대 LLM 기반 채팅 시스템에서의 강력함과 견고함을 입증합니다.

English

The traditional Dialogue State Tracking (DST) problem aims to track user preferences and intents in user-agent conversations. While sufficient for task-oriented dialogue systems supporting narrow domain applications, the advent of Large Language Model (LLM)-based chat systems has introduced many real-world intricacies in open-domain dialogues. These intricacies manifest in the form of increased complexity in contextual interactions, extended dialogue sessions encompassing a diverse array of topics, and more frequent contextual shifts. To handle these intricacies arising from evolving LLM-based chat systems, we propose joint dialogue segmentation and state tracking per segment in open-domain dialogue systems. Assuming a zero-shot setting appropriate to a true open-domain dialogue system, we propose S3-DST, a structured prompting technique that harnesses Pre-Analytical Recollection, a novel grounding mechanism we designed for improving long context tracking. To demonstrate the efficacy of our proposed approach in joint segmentation and state tracking, we evaluate S3-DST on a proprietary anonymized open-domain dialogue dataset, as well as publicly available DST and segmentation datasets. Across all datasets and settings, S3-DST consistently outperforms the state-of-the-art, demonstrating its potency and robustness the next generation of LLM-based chat systems.