Exploration des approches de réécriture pour différentes tâches conversationnelles

Exploring Rewriting Approaches for Different Conversational Tasks

February 26, 2025

Auteurs: Md Mehrab Tanjim, Ryan A. Rossi, Mike Rimer, Xiang Chen, Sungchul Kim, Vaishnavi Muppala, Tong Yu, Zhengmian Hu, Ritwik Sinha, Wei Zhang, Iftikhar Ahamath Burhanuddin, Franck Dernoncourt

cs.AI

Résumé

Les assistants conversationnels nécessitent souvent un algorithme de reformulation de questions qui exploite un sous-ensemble des interactions passées pour fournir une réponse plus pertinente (précise) à la question ou à la demande de l'utilisateur. Cependant, l'approche exacte de reformulation peut souvent dépendre du cas d'utilisation et des tâches spécifiques à l'application prises en charge par l'assistant conversationnel, entre autres contraintes. Dans cet article, nous étudions systématiquement deux approches différentes, désignées comme reformulation et fusion, sur deux tâches de génération fondamentalement distinctes, incluant une tâche de génération texte-à-texte et une tâche générative multimodale qui prend en entrée du texte et génère une visualisation ou un tableau de données répondant à la question de l'utilisateur. Nos résultats indiquent que l'approche spécifique de reformulation ou de fusion dépend fortement du cas d'utilisation sous-jacent et de la tâche générative. En particulier, nous constatons que pour un assistant conversationnel de questions-réponses, l'approche de reformulation de requête fonctionne le mieux, tandis que pour un assistant d'analyse de données qui génère des visualisations et des tableaux de données basés sur la conversation de l'utilisateur avec l'assistant, l'approche de fusion est la plus efficace. Notamment, nous explorons deux jeux de données pour le cas d'utilisation de l'assistant d'analyse de données, pour des conversations courtes et longues, et nous constatons que la fusion de requêtes fonctionne toujours mieux, alors que pour la question-réponse conversationnelle basée sur du texte, l'approche de reformulation de requête est la plus performante.

English

Conversational assistants often require a question rewriting algorithm that leverages a subset of past interactions to provide a more meaningful (accurate) answer to the user's question or request. However, the exact rewriting approach may often depend on the use case and application-specific tasks supported by the conversational assistant, among other constraints. In this paper, we systematically investigate two different approaches, denoted as rewriting and fusion, on two fundamentally different generation tasks, including a text-to-text generation task and a multimodal generative task that takes as input text and generates a visualization or data table that answers the user's question. Our results indicate that the specific rewriting or fusion approach highly depends on the underlying use case and generative task. In particular, we find that for a conversational question-answering assistant, the query rewriting approach performs best, whereas for a data analysis assistant that generates visualizations and data tables based on the user's conversation with the assistant, the fusion approach works best. Notably, we explore two datasets for the data analysis assistant use case, for short and long conversations, and we find that query fusion always performs better, whereas for the conversational text-based question-answering, the query rewrite approach performs best.