Esplorazione di approcci di riscrittura per diversi compiti conversazionali

Exploring Rewriting Approaches for Different Conversational Tasks

February 26, 2025

Autori: Md Mehrab Tanjim, Ryan A. Rossi, Mike Rimer, Xiang Chen, Sungchul Kim, Vaishnavi Muppala, Tong Yu, Zhengmian Hu, Ritwik Sinha, Wei Zhang, Iftikhar Ahamath Burhanuddin, Franck Dernoncourt

cs.AI

Abstract

Gli assistenti conversazionali spesso richiedono un algoritmo di riscrittura delle domande che sfrutti un sottoinsieme delle interazioni passate per fornire una risposta più significativa (accurata) alla domanda o alla richiesta dell'utente. Tuttavia, l'approccio esatto alla riscrittura può spesso dipendere dal caso d'uso e dalle attività specifiche dell'applicazione supportate dall'assistente conversazionale, tra altri vincoli. In questo articolo, investigiamo sistematicamente due approcci diversi, denominati riscrittura e fusione, su due compiti di generazione fondamentalmente diversi, inclusi un compito di generazione testo-to-testo e un compito generativo multimodale che prende come input del testo e genera una visualizzazione o una tabella di dati che risponde alla domanda dell'utente. I nostri risultati indicano che l'approccio specifico di riscrittura o fusione dipende fortemente dal caso d'uso sottostante e dal compito generativo. In particolare, scopriamo che per un assistente di risposta alle domande conversazionale, l'approccio di riscrittura della query funziona meglio, mentre per un assistente di analisi dati che genera visualizzazioni e tabelle di dati basate sulla conversazione dell'utente con l'assistente, l'approccio di fusione funziona meglio. In particolare, esploriamo due dataset per il caso d'uso dell'assistente di analisi dati, per conversazioni brevi e lunghe, e scopriamo che la fusione delle query funziona sempre meglio, mentre per la risposta alle domande conversazionale basata su testo, l'approccio di riscrittura della query funziona meglio.

English

Conversational assistants often require a question rewriting algorithm that leverages a subset of past interactions to provide a more meaningful (accurate) answer to the user's question or request. However, the exact rewriting approach may often depend on the use case and application-specific tasks supported by the conversational assistant, among other constraints. In this paper, we systematically investigate two different approaches, denoted as rewriting and fusion, on two fundamentally different generation tasks, including a text-to-text generation task and a multimodal generative task that takes as input text and generates a visualization or data table that answers the user's question. Our results indicate that the specific rewriting or fusion approach highly depends on the underlying use case and generative task. In particular, we find that for a conversational question-answering assistant, the query rewriting approach performs best, whereas for a data analysis assistant that generates visualizations and data tables based on the user's conversation with the assistant, the fusion approach works best. Notably, we explore two datasets for the data analysis assistant use case, for short and long conversations, and we find that query fusion always performs better, whereas for the conversational text-based question-answering, the query rewrite approach performs best.