Explorando Abordagens de Reescrevimento para Diferentes Tarefas Conversacionais

Exploring Rewriting Approaches for Different Conversational Tasks

February 26, 2025

Autores: Md Mehrab Tanjim, Ryan A. Rossi, Mike Rimer, Xiang Chen, Sungchul Kim, Vaishnavi Muppala, Tong Yu, Zhengmian Hu, Ritwik Sinha, Wei Zhang, Iftikhar Ahamath Burhanuddin, Franck Dernoncourt

cs.AI

Resumo

Assistentes conversacionais frequentemente exigem um algoritmo de reescrita de perguntas que utilize um subconjunto de interações passadas para fornecer uma resposta mais significativa (precisa) à pergunta ou solicitação do usuário. No entanto, a abordagem exata de reescrita pode muitas vezes depender do caso de uso e das tarefas específicas da aplicação suportadas pelo assistente conversacional, entre outras restrições. Neste artigo, investigamos sistematicamente duas abordagens diferentes, denominadas reescrita e fusão, em duas tarefas de geração fundamentalmente distintas, incluindo uma tarefa de geração texto-para-texto e uma tarefa generativa multimodal que recebe como entrada um texto e gera uma visualização ou tabela de dados que responde à pergunta do usuário. Nossos resultados indicam que a abordagem específica de reescrita ou fusão depende fortemente do caso de uso subjacente e da tarefa generativa. Em particular, descobrimos que, para um assistente de resposta a perguntas conversacionais, a abordagem de reescrita de consultas tem o melhor desempenho, enquanto para um assistente de análise de dados que gera visualizações e tabelas de dados com base na conversa do usuário com o assistente, a abordagem de fusão funciona melhor. Notavelmente, exploramos dois conjuntos de dados para o caso de uso do assistente de análise de dados, para conversas curtas e longas, e descobrimos que a fusão de consultas sempre tem um desempenho superior, enquanto para a resposta a perguntas baseadas em texto conversacional, a abordagem de reescrita de consultas tem o melhor desempenho.

English

Conversational assistants often require a question rewriting algorithm that leverages a subset of past interactions to provide a more meaningful (accurate) answer to the user's question or request. However, the exact rewriting approach may often depend on the use case and application-specific tasks supported by the conversational assistant, among other constraints. In this paper, we systematically investigate two different approaches, denoted as rewriting and fusion, on two fundamentally different generation tasks, including a text-to-text generation task and a multimodal generative task that takes as input text and generates a visualization or data table that answers the user's question. Our results indicate that the specific rewriting or fusion approach highly depends on the underlying use case and generative task. In particular, we find that for a conversational question-answering assistant, the query rewriting approach performs best, whereas for a data analysis assistant that generates visualizations and data tables based on the user's conversation with the assistant, the fusion approach works best. Notably, we explore two datasets for the data analysis assistant use case, for short and long conversations, and we find that query fusion always performs better, whereas for the conversational text-based question-answering, the query rewrite approach performs best.