Friends-MMC: Een Dataset voor het Begrijpen van Multi-modale Multi-partij Gesprekken

Friends-MMC: A Dataset for Multi-modal Multi-party Conversation Understanding

December 23, 2024

Auteurs: Yueqian Wang, Xiaojun Meng, Yuxuan Wang, Jianxin Liang, Qun Liu, Dongyan Zhao

cs.AI

Samenvatting

Multi-modale multi-partijen gesprekken (MMC) is een minder bestudeerd maar belangrijk onderzoeksgebied omdat het goed aansluit bij realistische scenario's en daardoor mogelijk bredere toepassingen heeft. Vergeleken met de traditionele multi-modale gesprekken vereist MMC sterkere karaktergerichte begripsvaardigheden, aangezien er veel gesprekspartners verschijnen in zowel de visuele als tekstuele context. Om de studie van dit probleem te vergemakkelijken, presenteren we in dit artikel Friends-MMC, een MMC-dataset die meer dan 24.000 unieke uitingen bevat, gekoppeld aan videobeelden. Om het karaktergerichte begrip van de dialoog te verkennen, annoteren we ook de spreker van elke uiting, de namen en begrenzingskaders van gezichten die in de video verschijnen. Op basis van deze Friends-MMC dataset bestuderen we verder twee fundamentele MMC-taken: identificatie van gesprekssprekers en voorspelling van gespreksreacties, beide met een multi-partijen karakter met de video of afbeelding als visuele context. Voor identificatie van gesprekssprekers demonstreren we de inefficiënties van bestaande methoden zoals vooraf getrainde modellen, en stellen we een eenvoudige maar effectieve basismethode voor die een optimalisatieoplosser gebruikt om de context van twee modaliteiten te benutten voor betere prestaties. Voor voorspelling van gespreksreacties fine-tunen we generatieve dialoogmodellen op Friends-MMC, en analyseren we de voordelen van sprekerinformatie. De code en dataset zijn openbaar beschikbaar op https://github.com/yellow-binary-tree/Friends-MMC en daarom roepen we op tot meer aandacht voor het modelleren van sprekerinformatie bij het begrijpen van gesprekken.

English

Multi-modal multi-party conversation (MMC) is a less studied yet important topic of research due to that it well fits real-world scenarios and thus potentially has more widely-used applications. Compared with the traditional multi-modal conversations, MMC requires stronger character-centered understanding abilities as there are many interlocutors appearing in both the visual and textual context. To facilitate the study of this problem, we present Friends-MMC in this paper, an MMC dataset that contains 24,000+ unique utterances paired with video context. To explore the character-centered understanding of the dialogue, we also annotate the speaker of each utterance, the names and bounding bboxes of faces that appear in the video. Based on this Friends-MMC dataset, we further study two fundamental MMC tasks: conversation speaker identification and conversation response prediction, both of which have the multi-party nature with the video or image as visual context. For conversation speaker identification, we demonstrate the inefficiencies of existing methods such as pre-trained models, and propose a simple yet effective baseline method that leverages an optimization solver to utilize the context of two modalities to achieve better performance. For conversation response prediction, we fine-tune generative dialogue models on Friend-MMC, and analyze the benefits of speaker information. The code and dataset is publicly available at https://github.com/yellow-binary-tree/Friends-MMC and thus we call for more attention on modeling speaker information when understanding conversations.