다양한 대화 작업을 위한 재작성 접근법 탐구

Exploring Rewriting Approaches for Different Conversational Tasks

February 26, 2025

저자: Md Mehrab Tanjim, Ryan A. Rossi, Mike Rimer, Xiang Chen, Sungchul Kim, Vaishnavi Muppala, Tong Yu, Zhengmian Hu, Ritwik Sinha, Wei Zhang, Iftikhar Ahamath Burhanuddin, Franck Dernoncourt

cs.AI

초록

대화형 어시스턴트는 종종 사용자의 질문이나 요청에 대해 더 의미 있고 정확한 답변을 제공하기 위해 과거 상호작용의 일부를 활용하는 질문 재작성 알고리즘이 필요합니다. 그러나 정확한 재작성 접근 방식은 대화형 어시스턴트가 지원하는 사용 사례 및 애플리케이션별 작업을 비롯한 다양한 제약 조건에 따라 달라질 수 있습니다. 본 논문에서는 텍스트-텍스트 생성 작업과 사용자의 질문에 대한 시각화 또는 데이터 테이블을 생성하는 다중모드 생성 작업이라는 근본적으로 다른 두 가지 생성 작업에 대해 재작성과 융합이라는 두 가지 접근 방식을 체계적으로 조사합니다. 우리의 결과는 특정 재작성 또는 융합 접근 방식이 기본 사용 사례와 생성 작업에 크게 의존함을 보여줍니다. 특히, 대화형 질문-답변 어시스턴트의 경우 질문 재작성 접근 방식이 가장 효과적인 반면, 사용자와의 대화를 기반으로 시각화 및 데이터 테이블을 생성하는 데이터 분석 어시스턴트의 경우 융합 접근 방식이 가장 효과적임을 발견했습니다. 주목할 만한 점은, 우리는 데이터 분석 어시스턴트 사용 사례에 대해 짧은 대화와 긴 대화를 위한 두 가지 데이터셋을 탐색했으며, 질문 융합이 항상 더 나은 성능을 보이는 반면, 대화형 텍스트 기반 질문-답변의 경우 질문 재작성 접근 방식이 가장 효과적임을 발견했습니다.

English

Conversational assistants often require a question rewriting algorithm that leverages a subset of past interactions to provide a more meaningful (accurate) answer to the user's question or request. However, the exact rewriting approach may often depend on the use case and application-specific tasks supported by the conversational assistant, among other constraints. In this paper, we systematically investigate two different approaches, denoted as rewriting and fusion, on two fundamentally different generation tasks, including a text-to-text generation task and a multimodal generative task that takes as input text and generates a visualization or data table that answers the user's question. Our results indicate that the specific rewriting or fusion approach highly depends on the underlying use case and generative task. In particular, we find that for a conversational question-answering assistant, the query rewriting approach performs best, whereas for a data analysis assistant that generates visualizations and data tables based on the user's conversation with the assistant, the fusion approach works best. Notably, we explore two datasets for the data analysis assistant use case, for short and long conversations, and we find that query fusion always performs better, whereas for the conversational text-based question-answering, the query rewrite approach performs best.