異なる会話タスクにおける書き換えアプローチの探求

Exploring Rewriting Approaches for Different Conversational Tasks

February 26, 2025

著者: Md Mehrab Tanjim, Ryan A. Rossi, Mike Rimer, Xiang Chen, Sungchul Kim, Vaishnavi Muppala, Tong Yu, Zhengmian Hu, Ritwik Sinha, Wei Zhang, Iftikhar Ahamath Burhanuddin, Franck Dernoncourt

cs.AI

要旨

会話型アシスタントでは、ユーザーの質問やリクエストに対してより意味のある（正確な）回答を提供するために、過去の対話の一部を活用した質問書き換えアルゴリズムが必要となることが多い。しかし、正確な書き換え手法は、会話型アシスタントがサポートするユースケースやアプリケーション固有のタスク、その他の制約によってしばしば異なる。本論文では、2つの根本的に異なる生成タスク（テキストからテキストを生成するタスクと、テキストを入力としてユーザーの質問に答える視覚化やデータテーブルを生成するマルチモーダル生成タスク）に対して、書き換えと融合という2つの異なるアプローチを体系的に調査する。結果として、特定の書き換えまたは融合アプローチは、基盤となるユースケースと生成タスクに大きく依存することが明らかとなった。特に、会話型質問応答アシスタントではクエリ書き換えアプローチが最も効果的であるのに対し、ユーザーとの会話に基づいて視覚化やデータテーブルを生成するデータ分析アシスタントでは融合アプローチが最も効果的であることがわかった。注目すべきは、データ分析アシスタントのユースケースにおいて、短い会話と長い会話の2つのデータセットを調査した結果、クエリ融合が常に優れた性能を示すのに対し、会話型テキストベースの質問応答ではクエリ書き換えアプローチが最も効果的であることが確認された点である。

English

Conversational assistants often require a question rewriting algorithm that leverages a subset of past interactions to provide a more meaningful (accurate) answer to the user's question or request. However, the exact rewriting approach may often depend on the use case and application-specific tasks supported by the conversational assistant, among other constraints. In this paper, we systematically investigate two different approaches, denoted as rewriting and fusion, on two fundamentally different generation tasks, including a text-to-text generation task and a multimodal generative task that takes as input text and generates a visualization or data table that answers the user's question. Our results indicate that the specific rewriting or fusion approach highly depends on the underlying use case and generative task. In particular, we find that for a conversational question-answering assistant, the query rewriting approach performs best, whereas for a data analysis assistant that generates visualizations and data tables based on the user's conversation with the assistant, the fusion approach works best. Notably, we explore two datasets for the data analysis assistant use case, for short and long conversations, and we find that query fusion always performs better, whereas for the conversational text-based question-answering, the query rewrite approach performs best.