Freunde-MMC: Ein Datensatz für Multi-modale Multi-Parteien-Gesprächsverständnis

Friends-MMC: A Dataset for Multi-modal Multi-party Conversation Understanding

December 23, 2024

Autoren: Yueqian Wang, Xiaojun Meng, Yuxuan Wang, Jianxin Liang, Qun Liu, Dongyan Zhao

cs.AI

Zusammenfassung

Multi-modale Multi-Party-Gespräche (MMC) sind ein weniger erforschtes, aber wichtiges Forschungsthema, da sie gut zu realen Szenarien passen und daher potenziell breiter eingesetzt werden können. Im Vergleich zu traditionellen multi-modalen Gesprächen erfordert MMC stärkere Fähigkeiten zum verständnisorientierten Verständnis, da viele Gesprächspartner sowohl im visuellen als auch im textuellen Kontext auftreten. Um die Untersuchung dieses Problems zu erleichtern, präsentieren wir in diesem Artikel Friends-MMC, einen MMC-Datensatz, der über 24.000 einzigartige Äußerungen enthält, die mit Video-Context verknüpft sind. Um das verständnisorientierte Verständnis des Dialogs zu erforschen, annotieren wir auch den Sprecher jeder Äußerung, die Namen und Bounding-Boxen der Gesichter, die im Video erscheinen. Basierend auf diesem Friends-MMC-Datensatz untersuchen wir weiterhin zwei grundlegende MMC-Aufgaben: die Identifizierung des Gesprächssprechers und die Vorhersage der Gesprächsantwort, die beide die multi-party-Natur mit dem Video oder Bild als visuellem Kontext haben. Für die Identifizierung des Gesprächssprechers zeigen wir die Ineffizienzen bestehender Methoden wie vortrainierte Modelle auf und schlagen eine einfache, aber effektive Basismethode vor, die einen Optimierungslöser nutzt, um den Kontext der beiden Modalitäten zu nutzen und bessere Leistungen zu erzielen. Für die Vorhersage der Gesprächsantwort feinabstimmen wir generative Dialogmodelle auf Friend-MMC und analysieren die Vorteile von Sprecherinformationen. Der Code und der Datensatz sind öffentlich verfügbar unter https://github.com/yellow-binary-tree/Friends-MMC, und daher rufen wir dazu auf, mehr Aufmerksamkeit auf die Modellierung von Sprecherinformationen bei der Verständnis von Gesprächen zu richten.

English

Multi-modal multi-party conversation (MMC) is a less studied yet important topic of research due to that it well fits real-world scenarios and thus potentially has more widely-used applications. Compared with the traditional multi-modal conversations, MMC requires stronger character-centered understanding abilities as there are many interlocutors appearing in both the visual and textual context. To facilitate the study of this problem, we present Friends-MMC in this paper, an MMC dataset that contains 24,000+ unique utterances paired with video context. To explore the character-centered understanding of the dialogue, we also annotate the speaker of each utterance, the names and bounding bboxes of faces that appear in the video. Based on this Friends-MMC dataset, we further study two fundamental MMC tasks: conversation speaker identification and conversation response prediction, both of which have the multi-party nature with the video or image as visual context. For conversation speaker identification, we demonstrate the inefficiencies of existing methods such as pre-trained models, and propose a simple yet effective baseline method that leverages an optimization solver to utilize the context of two modalities to achieve better performance. For conversation response prediction, we fine-tune generative dialogue models on Friend-MMC, and analyze the benefits of speaker information. The code and dataset is publicly available at https://github.com/yellow-binary-tree/Friends-MMC and thus we call for more attention on modeling speaker information when understanding conversations.