Friends-MMC: Un conjunto de datos para la comprensión de conversaciones multi-modales y multi-participantes.

Friends-MMC: A Dataset for Multi-modal Multi-party Conversation Understanding

December 23, 2024

Autores: Yueqian Wang, Xiaojun Meng, Yuxuan Wang, Jianxin Liang, Qun Liu, Dongyan Zhao

cs.AI

Resumen

La conversación multi-modal multi-participante (MMC) es un tema de investigación menos estudiado pero importante debido a que se adapta bien a escenarios del mundo real y, por lo tanto, potencialmente tiene aplicaciones más ampliamente utilizadas. En comparación con las conversaciones multi-modales tradicionales, la MMC requiere habilidades de comprensión centradas en los personajes más sólidas, ya que hay muchos interlocutores que aparecen tanto en el contexto visual como en el textual. Para facilitar el estudio de este problema, presentamos en este artículo Friends-MMC, un conjunto de datos de MMC que contiene 24,000+ enunciados únicos emparejados con contexto de video. Para explorar la comprensión centrada en los personajes del diálogo, también anotamos el hablante de cada enunciado, los nombres y las bounding boxes de los rostros que aparecen en el video. Basándonos en este conjunto de datos Friends-MMC, estudiamos además dos tareas fundamentales de MMC: la identificación del hablante en la conversación y la predicción de la respuesta en la conversación, ambas con naturaleza multi-participante con el video o imagen como contexto visual. Para la identificación del hablante en la conversación, demostramos las ineficiencias de los métodos existentes como los modelos pre-entrenados, y proponemos un método base simple pero efectivo que aprovecha un optimizador para utilizar el contexto de las dos modalidades y lograr un mejor rendimiento. Para la predicción de la respuesta en la conversación, ajustamos modelos generativos de diálogo en Friend-MMC, y analizamos los beneficios de la información del hablante. El código y el conjunto de datos están disponibles públicamente en https://github.com/yellow-binary-tree/Friends-MMC y, por lo tanto, solicitamos más atención en la modelización de la información del hablante al comprender conversaciones.

English

Multi-modal multi-party conversation (MMC) is a less studied yet important topic of research due to that it well fits real-world scenarios and thus potentially has more widely-used applications. Compared with the traditional multi-modal conversations, MMC requires stronger character-centered understanding abilities as there are many interlocutors appearing in both the visual and textual context. To facilitate the study of this problem, we present Friends-MMC in this paper, an MMC dataset that contains 24,000+ unique utterances paired with video context. To explore the character-centered understanding of the dialogue, we also annotate the speaker of each utterance, the names and bounding bboxes of faces that appear in the video. Based on this Friends-MMC dataset, we further study two fundamental MMC tasks: conversation speaker identification and conversation response prediction, both of which have the multi-party nature with the video or image as visual context. For conversation speaker identification, we demonstrate the inefficiencies of existing methods such as pre-trained models, and propose a simple yet effective baseline method that leverages an optimization solver to utilize the context of two modalities to achieve better performance. For conversation response prediction, we fine-tune generative dialogue models on Friend-MMC, and analyze the benefits of speaker information. The code and dataset is publicly available at https://github.com/yellow-binary-tree/Friends-MMC and thus we call for more attention on modeling speaker information when understanding conversations.