Untersuchung von Umformulierungsansätzen für verschiedene Konversationsaufgaben

Exploring Rewriting Approaches for Different Conversational Tasks

February 26, 2025

Autoren: Md Mehrab Tanjim, Ryan A. Rossi, Mike Rimer, Xiang Chen, Sungchul Kim, Vaishnavi Muppala, Tong Yu, Zhengmian Hu, Ritwik Sinha, Wei Zhang, Iftikhar Ahamath Burhanuddin, Franck Dernoncourt

cs.AI

Zusammenfassung

Konversationsassistenten benötigen oft einen Algorithmus zur Umformulierung von Fragen, der eine Teilmenge vergangener Interaktionen nutzt, um eine aussagekräftigere (präzisere) Antwort auf die Frage oder Anfrage des Benutzers zu liefern. Der genaue Ansatz zur Umformulierung hängt jedoch häufig vom Anwendungsfall und den anwendungsspezifischen Aufgaben ab, die der Konversationsassistent unterstützt, sowie von weiteren Einschränkungen. In diesem Artikel untersuchen wir systematisch zwei verschiedene Ansätze, die als Umformulierung und Fusion bezeichnet werden, in Bezug auf zwei grundlegend unterschiedliche Generierungsaufgaben. Dazu gehört eine Text-zu-Text-Generierungsaufgabe sowie eine multimodale Generierungsaufgabe, die Text als Eingabe verwendet und eine Visualisierung oder Datentabelle erzeugt, die die Frage des Benutzers beantwortet. Unsere Ergebnisse zeigen, dass der spezifische Ansatz zur Umformulierung oder Fusion stark vom zugrunde liegenden Anwendungsfall und der Generierungsaufgabe abhängt. Insbesondere stellen wir fest, dass für einen konversationsbasierten Frage-Antwort-Assistenten der Ansatz zur Anfrageumformulierung am besten funktioniert, während für einen Datenanalyse-Assistenten, der Visualisierungen und Datentabellen basierend auf der Konversation des Benutzers mit dem Assistenten erzeugt, der Fusionsansatz am besten geeignet ist. Bemerkenswerterweise untersuchen wir zwei Datensätze für den Anwendungsfall des Datenanalyse-Assistenten, für kurze und lange Konversationen, und stellen fest, dass die Anfragefusion stets besser abschneidet, während für die konversationsbasierte textorientierte Frage-Antwort-Aufgabe der Ansatz zur Anfrageumformulierung am besten geeignet ist.

English

Conversational assistants often require a question rewriting algorithm that leverages a subset of past interactions to provide a more meaningful (accurate) answer to the user's question or request. However, the exact rewriting approach may often depend on the use case and application-specific tasks supported by the conversational assistant, among other constraints. In this paper, we systematically investigate two different approaches, denoted as rewriting and fusion, on two fundamentally different generation tasks, including a text-to-text generation task and a multimodal generative task that takes as input text and generates a visualization or data table that answers the user's question. Our results indicate that the specific rewriting or fusion approach highly depends on the underlying use case and generative task. In particular, we find that for a conversational question-answering assistant, the query rewriting approach performs best, whereas for a data analysis assistant that generates visualizations and data tables based on the user's conversation with the assistant, the fusion approach works best. Notably, we explore two datasets for the data analysis assistant use case, for short and long conversations, and we find that query fusion always performs better, whereas for the conversational text-based question-answering, the query rewrite approach performs best.