Het verkennen van herschrijfbenaderingen voor verschillende gesprekstaken

Exploring Rewriting Approaches for Different Conversational Tasks

February 26, 2025

Auteurs: Md Mehrab Tanjim, Ryan A. Rossi, Mike Rimer, Xiang Chen, Sungchul Kim, Vaishnavi Muppala, Tong Yu, Zhengmian Hu, Ritwik Sinha, Wei Zhang, Iftikhar Ahamath Burhanuddin, Franck Dernoncourt

cs.AI

Samenvatting

Conversatie-assistenten vereisen vaak een algoritme voor het herschrijven van vragen dat gebruikmaakt van een subset van eerdere interacties om een betekenisvollere (nauwkeurigere) antwoord te geven op de vraag of het verzoek van de gebruiker. De exacte aanpak voor het herschrijven hangt echter vaak af van de use case en de toepassingsspecifieke taken die door de conversatie-assistent worden ondersteund, naast andere beperkingen. In dit artikel onderzoeken we systematisch twee verschillende benaderingen, aangeduid als herschrijven en fusie, voor twee fundamenteel verschillende generatietaken, waaronder een tekst-naar-tekst generatietaak en een multimodale generatieve taak die tekst als invoer neemt en een visualisatie of datatabel genereert die de vraag van de gebruiker beantwoordt. Onze resultaten geven aan dat de specifieke herschrijf- of fusiebenadering sterk afhangt van de onderliggende use case en de generatieve taak. In het bijzonder vinden we dat voor een conversatie-assistent voor vraagbeantwoording de query-herschrijvingbenadering het beste presteert, terwijl voor een data-analyseassistent die visualisaties en datatabellen genereert op basis van de conversatie van de gebruiker met de assistent, de fusiebenadering het beste werkt. Opmerkelijk is dat we twee datasets verkennen voor de use case van de data-analyseassistent, voor korte en lange conversaties, en we ontdekken dat queryfusie altijd beter presteert, terwijl voor de tekstgebaseerde vraagbeantwoording in conversaties de query-herschrijvingbenadering het beste presteert.

English

Conversational assistants often require a question rewriting algorithm that leverages a subset of past interactions to provide a more meaningful (accurate) answer to the user's question or request. However, the exact rewriting approach may often depend on the use case and application-specific tasks supported by the conversational assistant, among other constraints. In this paper, we systematically investigate two different approaches, denoted as rewriting and fusion, on two fundamentally different generation tasks, including a text-to-text generation task and a multimodal generative task that takes as input text and generates a visualization or data table that answers the user's question. Our results indicate that the specific rewriting or fusion approach highly depends on the underlying use case and generative task. In particular, we find that for a conversational question-answering assistant, the query rewriting approach performs best, whereas for a data analysis assistant that generates visualizations and data tables based on the user's conversation with the assistant, the fusion approach works best. Notably, we explore two datasets for the data analysis assistant use case, for short and long conversations, and we find that query fusion always performs better, whereas for the conversational text-based question-answering, the query rewrite approach performs best.