Explorando enfoques de reescritura para diferentes tareas conversacionales

Exploring Rewriting Approaches for Different Conversational Tasks

February 26, 2025

Autores: Md Mehrab Tanjim, Ryan A. Rossi, Mike Rimer, Xiang Chen, Sungchul Kim, Vaishnavi Muppala, Tong Yu, Zhengmian Hu, Ritwik Sinha, Wei Zhang, Iftikhar Ahamath Burhanuddin, Franck Dernoncourt

cs.AI

Resumen

Los asistentes conversacionales suelen requerir un algoritmo de reescritura de preguntas que aproveche un subconjunto de interacciones pasadas para proporcionar una respuesta más significativa (precisa) a la pregunta o solicitud del usuario. Sin embargo, el enfoque exacto de reescritura puede depender a menudo del caso de uso y de las tareas específicas de la aplicación que soporta el asistente conversacional, entre otras limitaciones. En este artículo, investigamos sistemáticamente dos enfoques diferentes, denominados reescritura y fusión, en dos tareas de generación fundamentalmente distintas, incluyendo una tarea de generación texto-a-texto y una tarea generativa multimodal que toma como entrada texto y genera una visualización o tabla de datos que responde a la pregunta del usuario. Nuestros resultados indican que el enfoque específico de reescritura o fusión depende en gran medida del caso de uso subyacente y de la tarea generativa. En particular, encontramos que para un asistente de preguntas y respuestas conversacional, el enfoque de reescritura de consultas funciona mejor, mientras que para un asistente de análisis de datos que genera visualizaciones y tablas de datos basadas en la conversación del usuario con el asistente, el enfoque de fusión es el más efectivo. Cabe destacar que exploramos dos conjuntos de datos para el caso de uso del asistente de análisis de datos, para conversaciones cortas y largas, y encontramos que la fusión de consultas siempre funciona mejor, mientras que para la tarea de preguntas y respuestas basadas en texto conversacional, el enfoque de reescritura de consultas es el más adecuado.

English

Conversational assistants often require a question rewriting algorithm that leverages a subset of past interactions to provide a more meaningful (accurate) answer to the user's question or request. However, the exact rewriting approach may often depend on the use case and application-specific tasks supported by the conversational assistant, among other constraints. In this paper, we systematically investigate two different approaches, denoted as rewriting and fusion, on two fundamentally different generation tasks, including a text-to-text generation task and a multimodal generative task that takes as input text and generates a visualization or data table that answers the user's question. Our results indicate that the specific rewriting or fusion approach highly depends on the underlying use case and generative task. In particular, we find that for a conversational question-answering assistant, the query rewriting approach performs best, whereas for a data analysis assistant that generates visualizations and data tables based on the user's conversation with the assistant, the fusion approach works best. Notably, we explore two datasets for the data analysis assistant use case, for short and long conversations, and we find that query fusion always performs better, whereas for the conversational text-based question-answering, the query rewrite approach performs best.