Stark: Sociaal Langetermijn Multi-Modaal Gesprek met Persoonlijkheid Algemene Kennis

Stark: Social Long-Term Multi-Modal Conversation with Persona Commonsense Knowledge

July 4, 2024

Auteurs: Young-Jun Lee, Dokyong Lee, Junyoung Youn, Kyeongjin Oh, Byungsoo Ko, Jonghwan Hyeon, Ho-Jin Choi

cs.AI

Samenvatting

Mensen delen een breed scala aan afbeeldingen die verband houden met hun persoonlijke ervaringen tijdens gesprekken via instant messaging-tools. Bestaande onderzoeken richten zich echter op (1) het gedrag rond het delen van afbeeldingen in individuele sessies, wat leidt tot beperkte langetermijnsociale interactie, en (2) een gebrek aan gepersonaliseerd gedrag bij het delen van afbeeldingen. In dit werk introduceren we Stark, een grootschalige langetermijn multimodale gespreksdataset die een breed scala aan sociale persona's omvat in een multimodale vorm, tijdsintervallen en afbeeldingen. Om Stark automatisch te construeren, stellen we een nieuw multimodaal contextualisatiekader voor, Mcu, dat langetermijn multimodale dialogen genereert die zijn gedistilleerd uit ChatGPT en onze voorgestelde Plan-and-Execute afbeeldingsaligner. Met behulp van onze Stark trainen we een multimodaal gespreksmodel, Ultron 7B, dat indrukwekkende visuele verbeeldingskracht demonstreert. Bovendien tonen we de effectiviteit van onze dataset aan in menselijke evaluaties. We maken onze broncode en dataset publiekelijk beschikbaar.

English

Humans share a wide variety of images related to their personal experiences within conversations via instant messaging tools. However, existing works focus on (1) image-sharing behavior in singular sessions, leading to limited long-term social interaction, and (2) a lack of personalized image-sharing behavior. In this work, we introduce Stark, a large-scale long-term multi-modal conversation dataset that covers a wide range of social personas in a multi-modality format, time intervals, and images. To construct Stark automatically, we propose a novel multi-modal contextualization framework, Mcu, that generates long-term multi-modal dialogue distilled from ChatGPT and our proposed Plan-and-Execute image aligner. Using our Stark, we train a multi-modal conversation model, Ultron 7B, which demonstrates impressive visual imagination ability. Furthermore, we demonstrate the effectiveness of our dataset in human evaluation. We make our source code and dataset publicly available.